KR20130138247A - 신속 3ｄ 모델링 - Google Patents

신속 3ｄ 모델링 Download PDF

Info

Publication number
KR20130138247A
KR20130138247A KR1020137011059A KR20137011059A KR20130138247A KR 20130138247 A KR20130138247 A KR 20130138247A KR 1020137011059 A KR1020137011059 A KR 1020137011059A KR 20137011059 A KR20137011059 A KR 20137011059A KR 20130138247 A KR20130138247 A KR 20130138247A
Authority
KR
South Korea
Prior art keywords
model
camera
image
images
error
Prior art date
Application number
KR1020137011059A
Other languages
English (en)
Inventor
아담 프라이어
Original Assignee
선제비티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선제비티 filed Critical 선제비티
Publication of KR20130138247A publication Critical patent/KR20130138247A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

본 발명은 실제의 3D 오브젝트에 대한 신속하고 효율적인 3D 모델링 시스템 및 방법을 제공한다. 3D 모델은 기껏해야 관심 대상 오브젝트의 2개의 사진을 기초로 생성된다. 2개의 사진들 각각은 종래의 핀-홀(pin-hole) 카메라 유닛을 이용하여 얻을 수 있다. 본 발명에 따른 시스템은 신규의 카메라 모델러(camera modeler) 및 카메라 파라미터의 에러를 정정하는 효율적인 방법을 포함한다. 본 발명의 다른 분야는 애니메이션 및 실재 영화(real-life motion picture) 및 비디오 게임들 뿐만 아니라 건축 및 의료 분야에 대한 신속한 3D 모델링을 포함한다.

Description

신속 3Ｄ 모델링{Rapid 3D Modeling}
관련 기술의 상호 참조
본 출원은 2010년 10월 7일자로 미국특허청에 출원된 '신속 3D 모델링(Rapid 3D Modeling)'이란 제목의 가출원 번호 61/391,069호의 우선권의 이익을 주장하고, 부록을 포함해서 그 모든 내용을 여기에서 참조하기로 한다.
본 출원은 신속 3D 모델링에 관한 것으로, 특히 신규의 카메라 모델러(camera modeler) 및 카메라 파라미터의 에러를 정정하는 효율적인 방법을 제공하여 애니메이션과 실재 영화(real-life motion picture) 및 비디오 게임들 뿐만 아니라 건축 및 의료 분야에 대한 신속한 3D 모델링을 할 수 있는 실제 오브젝트에 대한 3D 모델 생성 시스템 및 방법에 관한 것이다.
3차원(3D) 모델은 3차원의 실제(real world) 오브젝트(objects)들을 저장된 기하학적 데이터(geometric data)로서 나타낸다. 이 모델은 실제의 오브젝트의 2차원(2D) 그래픽 영상을 렌더링(rendering)하는데 사용될 수 있다. 디스플레이 장치에서 오브젝트의 렌더링된 2D 영상과의 상호작용은 오브젝트의 3D 모델에 저장된 치수 데이터(dimensional data)를 연산처리암으로써 실제의 오브젝트와의 상호작용을 유도한다. 이러한 오브젝트와의 유도된 상호작용은 실제에서 오브젝트와의 물리적인 상호작용이 불가능하거나, 위험하거나, 비실용적이거나 또는 아니면 바람직하지 못한 경우에 유용하다.
오브젝트에 대한 3D 모델을 생성하는 종래의 방법은 3D 모델링 툴을 이용하는 아티스트 또는 엔지니어가 컴퓨터에서 모델을 생성하는 것을 포함한다. 이 방법은 시간 소모적이어서 실시하는 데에는 숙련된 오퍼레이터가 필요하다. 3D 모델은 또한 실제의 오브젝트로부터 컴퓨터에 모델을 스캐닝함으로써 생성될 수 있다. 전형적인 3D 스캐너는 그 시계 내에서 오브젝트의 표면들에 관한 거리 정보를 수집한다. 3D 스캐너에 의해 생성된 "픽쳐(picture)"는 그 각 포인트에서 한 표면에 대한 거리를 기술한다. 따라서 픽처 내의 각 포인트의 3차원 위치가 식별될 수 있다. 이러한 기술에서는 전형적으로 오브젝트의 모든 쪽에 대한 정보를 입수하기 위해 여러 방향에서 여러 번 스캔할 필요가 있다. 이러한 기술은 많은 분야에서 유용하다.
아직까지도 전문 지식을 필요로 하지 않고, 또한 고가이고 시간 소모적인 스캐닝 기술에 의존하지 않고도 3D 모델을 신속하게 생성할 수 있는 시스템 및 방법으로부터 여러 다양한 분야가 수혜를 받고 있다. 그 일례를 태양 에너지 시스템 설치 분야에서 볼 수 있다. 어떤 구조, 예를 들어 주택의 지붕에의 설치에 적합한 태양전지 패널을 선택하기 위해서는 지붕의 치수를 알 필요가 있다. 종래의 설치에 있어서는, 기술자를 설치 위치로 보내서 설치 지역을 물리적으로 조사하고 측정하여 그 치수를 결정한다. 현장으로의 직접 방문은 시간 소모적이고 비용이 든다. 일부 경우에 있어서는 현장 방문이 비실용적일 수 있다. 예컨대, 날씨가 좋지 못하면 지연이 길어질 수 있다. 현장은 기술자로부터 상당한 거리에 위치할 수 있고 아니면, 접근이 어려울 수도 있다. 따라서 실제의 구조에 물리적으로 이동하고 상기 구조를 측정하는 대신에 디스플레이 화면상에서 렌더링된 3D 모델로부터 구조적인 측정을 얻을 수 있는 시스템 및 방법을 갖는 것이 유용할 수 있다.
일부 소비자들은 태양 에너지 시스템을 지붕에 설치했을 경우 태양 전지판의 미적인 효과에 대한 확신이 없으므로 태양 에너지 시스템을 그들의 집에 설치하는 것을 꺼리고 있다. 이보다는 일부 소비자들은 방해에 대한 관심과 같은 다른 이유로 상기 태양전지 패널이 설치되는 어떤 결정을 내리는 것을 오히려 선호한다. 이러한 관심은 태양 에너지의 선정에 방해를 줄 수 있다. 태양 에너지 시스템과 방법에는 특정 솔라 부품들이 어떤 임의의 가정에 설치될 경우 나타날 수 있는 상기 부품들의 실제 가시적 표시를 신속하게 제공하는 것이 필요하다.
본 발명은 위에서 기술한 바와 같은 종래 기술의 배경하에서 개발된 것으로, 본 발명의 여러 실시예들은 원격 측정뿐만 아니라 3D 오브젝트의 실제 렌더링된 3D 그래픽 영상에 대한 시각화, 조정, 및 상호작용을 제공할 수 있는 3D 모델을 신속하게 생성하는 신속 3D 모델링을 제공하려는 데 그 목적이 있다.
발명의 요약
본 발명은 실제의 3D 오브젝트의 신속하고 효과적인 3D 모델링을 위한 시스템 및 방법을 제공한다. 3D 모델은 기껏해야 관심 대상 오브젝트의 2개의 사진을 기초로 생성된다. 2개의 사진들 각각은 종래의 핀-홀(pin-hole) 카메라 유닛을 이용하여 얻을 수 있다. 본 발명에 따른 시스템은 신규의 카메라 모델러(camera modeler) 및 카메라 파라미터의 에러를 정정하는 효율적인 방법을 포함한다. 본 발명의 다른 분야는 애니메이션 및 실재 영화(real-life motion picture) 및 비디오 게임들 뿐만 아니라 건축 및 의료 분야에 대한 신속한 3D 모델링을 포함한다.
본 발명에 의하면 신규의 카메라 모델러(camera modeler) 및 카메라 파라미터의 에러를 정정하는 효율적인 방법을 제공하여 애니메이션 및 실재영화(motion picture) 및 비디오 게임들 뿐만 아니라 건축 및 의료 분야에 대한 신속한 3D 모델링을 제공할 수 있다.
본 발명의 상기 목적 및 기타 목적들, 특징들, 및 장점들은 첨부 도면을 참조로 한 이하의 상세한 설명으로부터 명확해 질 것이다.
도 1은 본 발명의 3D 모델링의 실시예에 대한 전개 예를 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른 방법의 도시하는 흐름도이다.
도 3은 본 발명의 일례의 실시예의 사용에 적합한 하우스의 지붕을 포함하는 오브젝트의 항공 뷰(top down view) 포함하는 일례의 제1 영상을 도시한다.
도 4는 본 발명의 일례의 일부 실시예들에 사용에 적합한 도 3에 도시된 지붕의 하우스의 정면도를 포함하는 일례의 제2 영상을 도시한다.
도 5는 도 3 및 도 4에 도시된 제1 및 제2 영상들에서 일례의 3D 포인트들을 대응하는 2D 포인트 세트들을 포함하는 테이블을 도시한다.
도 6은 도 3과 도 4에 도시된 예시의 제1 및 제2 영상들에서 선택된 직각들을 포함하는 3D 포인트들의 일례의 리스트를 도시한다.
도 7은 도 3 및 도 4에 도시된 예시의 제1 및 제2 영상들에서 선택된 기준 평면들을 포함하는 3D 포인트들의 예를 도시한다.
도 8은 본 발명의 일 실시예에 따른 3D 포인트들을 생성하기 위한 방법의 흐름도를 도시한다.
도 9는 본 발명의 일 실시예에 따라 에러를 추정하는 방법의 흐름도를 도시한다.
도 10은 본 발명의 실시예들에 따른 카메라 모델러에 카메라 파라미터들을 제공하는데 적합한 일례의 카메라 파라미터 발생기의 기능에 대한 개념을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 카메라 모델러에 대해 최초 제1 카메라 파라미터들을 생성하기 위한 방법의 단계들을 나타내는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 카메라 모델러에 대한 제2의 카메라 파라미터들을 생성하기 위한 방법의 단계들을 흐름도이다.
도 13은 본 발명의 일 실시예에 따라 디스플레이 유닛에 제공된 일례의 그래픽 유저 인터페이스(GUI)에서 디스플레이된 오브젝트와 및 오퍼레이터로 하여금 오브젝트에 대해 포인트 설정치들을 생성가능하게 하는 일례의 영상을 도시한다.
도 14는 본 발명의 일 실시예에 따라 오브젝트에 대해 에러 정정 3D 모델을 제공하기 위한 단계들을 도시한다.
도 15는 본 발명의 다른 실시예에 따라 오브젝트에 대해 에러 정정 3D 모델을 제공하기 위한 단계들을 도시한다.
도 16은 본 발명의 일 실시예에 따른 제1 및 제2 영상들로부터 포인트 설정치들에 대한 3D 모델 기반 투영을 제공하는 일례의 3D 모델 생성기를 도시하는 개념도이다.
도 17은 일례의 제1과 제2 카메라들 중 하나가 본 발명의 일 실시예에 따른 평면도에 따라 초기화되는 상기 카메라들에 의해 형성된 일례의 3D 모델 공간을 도시한다.
도 18은 본 발명의 일 실시예에 따라 정정된 카메라 파라미터들을 제공하는 방법의 단계들을 도시한 도면이다.
도 19는 본 발명의 일 실시예에 따른 제1과 제2 영상들, 카메라 모델러 및 모델 생성기 사이의 관계를 나타내는 개념도이다.
도 20은 본 발명의 일 실시예에 따라 3D 모델을 생성 및 저장하기 위한 방법의 단계들을 도시한다.
도 21은 본 발명의 일 실시예에 따른 3D 모델 생성 시스템을 도시한다.
도 22는 본 발명의 일 실시예에 따른 카메라 파라미터들을 조정하기 위한 방법을 나타내는 흐름도이다.
도 23은 본 발명의 일 실시예에 따른 3D 모델링 시스템의 블록도이다.
도 24는 본 발명의 일 실시예에 따른 보조 오브젝트 사이징 시스템과 협력하는 일례의 3D 모델링 시스템의 블록도이다.
도 1은 구조 측정 시스템에서 전개된 본 발명의 실시예를 도시한다. 영상 소스(10)는 실제의 3D 주거 구조물(residential structure;1)에 대한 영상들을 포함하여 사진 영상들을 포함한다. 본 발명의 일부 실시예들에서, 적합한 2D 영상 소스는 JPEG, TIFF, GIF, RAW 및 다른 영상 저장 포맷과 같은 그래픽 포맷으로 저장된 2D 영상들의 수집물을 포함한다. 본 발명의 일부 실시예들은 구조물에 대한 조감도를 포함하는 적어도 하나의 영상을 수신한다. 이 조감도는 4방(four angles)으로부터 항공사진을 제공한다.
본 발명의 일부 실시예들에서, 적합한 2D 영상은 항공 및 위성 영상들을 포함한다. 본 발명의 일 실시예에서, 2D 영상 소스는 인터넷을 통해 액세스가능한 온라인 데이터베이스이다. 적합한 온라인 2D 영상 소스의 예로는 미국 지질 조사국(United States Geological Survey; USGS), Maryland Global Land Cover Facility and TerraServer-USA(최근 Microsoft Research Maps로 개명됨; MSR)가 있다. 이들 데이터베이스는 지도 및 항공사진을 저장하고 있다.
본 발명의 일부 실시예들에서, 영상들은 지상 좌표화된다(geo-referenced). 지상 좌표화된 영상은 그 자체 내에 또는 보조 파일(예를 들어, 월드 파일(world file)) 내에 영상을 다른 데이터와 정렬하는 방법을 나타내는 정보를 GIS 시스템에 포함하고 있다. 지상 좌표화하는 적합한 포맷으로는 Geo Tiff, jp2 및 MrSid가 있다. 다른 영상들은 컴패니언 파일(companion file)(월드 파일로서, 일반적으로는 영상 파일과 같은 이름과 서픽스를 갖는 스몰 텍스트 파일인 ArcGIS에 공지)에서 지상 좌표화 정보를 전달할 수 있다. 영상들은 본 발명의 일부 실시예들에서 사용을 위해 수동으로 지상 좌표화된다. 고 해상도 영상들은 Google Earth Pro™과 같은 참가자 데이터베이스(subscription database)로부터 입수할 수 있다. Mapquest™도 본 발명의 일부 실시예들에 적합하다. 본 발명의 일부 실시예들에 있어서, 지리정보시스템(Geographic Information System;GIS) 정보를 포함하는 지상 좌표화 영상들이 수신된다.
구조물(1)의 영상들은 에어본 카메라(airborne camera)(4)와 같은 에어본 영상 포착 유닛을 이용하여 구조물(1)의 예를 들어, 항공기(5) 포착 항공사진으로 포착된다. 카메라(4)로 포착된 일례의 사진(107)은 주거 구조물(1)의 지붕(106)에 대한 항공 뷰이다. 상기 카메라(4)로 포착한 일례의 사진(107)은 거주 구조물(1)의 지붕(106)에 대한 평면도이다. 그러나 본 발명은 항공 뷰에 한정되지 않으며, 카메라(4)는 또한 구조물(1)의 직각 뷰(orthographic) 및 경사 뷰(oblique view) 및 다른 뷰도 포착할 수 있다.
영상 소스(10)를 포함하는 영상들은 항공사진으로 한정될 필요는 없다. 예를 들어, 구조물(1)에 대한 추가의 영상들이 제2 카메라 예를 들어, 지상 기반 카메라(9)를 통해 포착된다. 지상 기반 영상들은 구조물(1)에 대한 정면, 측면 및 배면도를 포함하지만 이들로 한정되지 않는다. 도 1은 구조물(1)의 제2 사진(108)을 도시한다. 이 도시에서 사진(108)은 구조물(1)에 대한 정면을 나타낸다.
본 발명의 실시예들에 따르면, 오브젝트의 제1 및 제2 뷰는 영상 포착 유닛의 특정 타입으로 포착될 필요는 없으며, 다른 시각에 다른 목적으로 다른 포착 유닛으로부터 포착된 영상들은 본 발명이 다양한 실시예들에 사용에 적합하다. 제1 및 제2 영상들이 유도되는 영상 포착 유닛들은 일반적으로 임의의 특정 고유 또는 외적인 카메라 속성을 가질 필요는 없다. 본 발명은 제1 및 제2 영상들을 포착하는데 사용된 실제의 카메라에 대한 고유 또는 외적인 속성에 대한 지식에 좌우되지 않는다.
영상이 일단 영상 소스(10)에 저장되면, 이 영상들은 선택에 활용되고, 시스템(100)에 다운로드된다. 일례의 사용에서, 오퍼레이터(113)는 고객으로부터 소재지 주소를 입수한다. 오퍼레이터(113)는 예를 들어, 인터넷을 통해 영상 소스(10)에 액세스하기 위해 영상 관리 유닛(103)을 사용할 수 있다. 오퍼레이터(113)는 소재지 주소를 제공함으로써 영상을 입수할 수 있다. 영상 소스(10)는 소정의 소재지 주소에 위치한 가정의 복수의 뷰를 제공하여 응답한다. 본 발명의 여러 실시예들의 사용에 적합한 뷰는 평면 뷰, 단면 뷰, 사시 뷰, 직각, 경사 및 다른 타입의 영상들 및 뷰를 포함한다.
이 예에 있어서, 제1 영상(107)은 하우스(1)에 대한 제1 뷰를 제공한다. 제1 뷰는 하우스(1)의 지붕에 대한 정면도를 제공한다. 제2 영상(108)은 같은 하우스(1)에 대한 제2 뷰를 제공한다. 제2 영상은 제1 뷰에 도시된 것과는 다른 뷰포인트(viewpoint)에서 지붕을 제공한다. 따라서 제1 영상(107)은 2D 공간에서 제1 방위에서의 오브젝트(1)의 영상을 포함하고, 제2 영상(108)은 2D 공간에서 제2 방위에서의 같은 오브젝트(1)의 영상을 포함한다. 본 발명의 일부의 실시예들에서 적어도 하나의 영상은 오브젝트의 평면도를 포함하고, 제1 영상(107) 및 제2 영상(108)은 영상들에 나타난 오브젝트(1)의 사이즈, 종횡비(aspect ratio), 및 다른 특징에 있어 서로 다를 수 있다.
구조물(1)의 치수를 측정하고자 하는 경우, 구조물에 대한 제1 및 제2 영상은 영상 소스(10)로부터 입수된다. 제1 및 제2 영상을 제공하는 카메라(4 및 9)에 관한 정보는, 영상 소스(10)에 저장될 필요가 없을 뿐만 아니라 검색된 영상을 제공받을 필요도 없음을 유의해야 한다. 많은 경우에, 제1 및 제2 사진을 입수하는데 사용된 카메라에 관한 정보는 어떤 소스로부터도 입수할 수 없다. 본 발명의 실시예들은 실제의 제1 및 제2 카메라들에 관한 정보를 입수할 수 있는지와 관계없이 제1 영상 및 제2 영상을 기초로 하여 제1 및 제2 카메라에 대한 정보를 판단할 수 있다.
제1 실시예에 있어서, 하우스의 제1 및 제2 영상은 시스템(100)에서 수신되고, 오퍼레이터(113)가 볼 수 있게 디스플레이된다. 오퍼레이터(113)는 영상들의 정보를 이용하여 포인트 설정치(제어 설정치)를 생성하여 3D 모델 생성기(950)에 제공한다. 모델 생성기(950)는 오브젝트에 대한 3D 모델을 제공한다. 3D 모델은 렌더링 엔진에 의해 2D 디스플레이 유닛(103) 상에서 디스플레이를 위해 렌더링된다. 오퍼레이터(113)는 측정 어플리케이션을 이용하여 디스플레이(103) 상에서 디스플레이된 오브젝트의 치수를 측정하고, 디스플레이된 오브젝트의 정보를 이용한다. 모델 측정치는 상기 제1 및 제2 영상의 스케일에 관한 정보를 기초로 하여 실제의 측정치로 변환된다. 따라서 실제의 측정치를 현장을 방문할 필요 없이 얻게 된다. 본 발명의 실시예들은 오브젝트의 적어도 두 개의 사진 영상을 기초로 하여 3D 모델을 생성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 오브젝트의 3D 모델을 기초로 실제 오브젝트를 측정하는 방법을 도시 및 기술한다.
단계 203에서, 측정 대상 구조물의 3D 모델이 생성된다. 단계 205에서는, 오퍼레이터가 디스플레이된 영상의 정보를 이용하여 영상의 치수를 측정한다. 단계 207에서, 측정치가 수신된다. 단계 209에서는 측정치가 영상 측정치로부터 실제 측정치로 변환된다. 여기서, 측정치는 구조물에 태양 에너지 시스템을 설치하는데 적합하게 사용될 수 있다.
단계 203을 수행하기 위해 본 발명의 모델 생성기는 정합 포인트들을 수신하여 3D 모델을 생성한다. 3D 모델은 재구성된 3D 구조물에 신규의 최적화 기술을 적용하여 가공된다. 가공된 3D 모델은 충분한 정확성의 실제 구조물을 나타내어 렌더링된 3D 모델을 측정함으로써 구조물의 측정치를 입수하여 사용할 수 있게 된다.
이를 위해, 3D 모델은 디스플레이 유닛(103)에서 렌더링된다. 디스플레이된 모델의 치수가 측정된다. 측정치는 실제의 측정치로 변환된다. 실제의 측정치는 구조물에 태양 전지판을 설치하기 위해 태양 에너지 설치 시스템에 사용된다.
도 3과 도 4에 적합한 제1 및 제2 영상의 예들이 도시된다. 도 3은 하우스의 평면도를 포함하는 제1 영상(107)를 도시한다. 예를 들어, 제1 영상(107)은 지붕의 평면도를 포착할 수 있도록 구조물의 지붕에 설치된 카메라를 통해 포착한 사진이다. 간단한 실시예에서는 2 차원 제1 영상(107)이 3차원 오브젝트, 이 경우는 하우스를 2차원 영상면에 투영하는 통상의 방법으로 입수되는 것으로 가정한다.
도 4는 도 3에 도시한 지붕을 포함하는 도 3의 하우스의 정면도를 포함하는 제2 영상(108)을 도시한다. 상기 제1 영상 및 제2 영상은 입체 영상으로 될 필요는 없음을 유의하는 것이 중요하다. 또한, 제1 및 제2 영상은 스캐닝된 영상일 필요는 없다. 본 발명의 일 실시예에서, 상기 제1 및 제2 사진 영상은 카메라와 같은 영상 포착 장치로 포착된다.
이 명세서에서 '사진'은 광 민감성 표면에 광을 방사하여 생성된 영상을 말함을 일러둔다. 광 민감성 표면에는 사진용 필름, 전하 결합 소자(CCD) 또는 상보형 금속 산화 반도체(CMOS) 촬상 장치(imaging device)와 같은 전자 촬상장치(electronic imager)가 있다. 이 명세서에서 사진은 카메라를 이용하여 생성됨을 일러둔다. 카메라는 장면의 가시광 파장을 사람의 눈이 보는 것을 재현하도록 집속하기 위한 렌즈를 포함하는 장치를 말한다.
본 발명의 일 실시예에서, 제1 영상(107)은 측정 대상 실제 오브젝트의 정투영(orthographic projection)을 포함한다. 일반적으로, 카메라 또는 센서와 같은 영상 포착 장치는 비행기 또는 위성과 같은 운송수단 또는 플랫폼에 의해 운반되고, 상기 플랫폼으로부터 바로 아래에 있는 및/또는 수직으로 하방에 있는 연직점(鉛直點;nadir point)에서 조준된다. 상기 연직점에 대응하는 영상 내의 포인트 또는 픽셀은 영상 포착 장치에 직교하는 포인트/픽셀이다. 영상 내의 모든 다른 포인트 또는 픽셀은 영상 포착 유닛에 경사지게 되어 있다. 포인트 또는 픽셀들이 연직점으로부터 점차적으로 멀어짐에 따라 이들은 영상 포착 유닛에 대해 점차적으로 경사지게 된다. 유사하게, 그라운드 샘플 거리(즉, 각 픽셀에 대응하거나 각 픽셀로 커버된 표면적) 또한 증가한다. 직교 영상의 이러한 경사도로 인해 영상 내의 특징들로 왜곡되고 특히, 영상들은 상기 연직점으로부터 비교적 멀어지게 된다.
y 축에 나란한 정투영을 이용하여 실제의 영상으로부터 3D 포인트 ax, ay, az를 대응 2D 포인트 bx, by 상에 투영하기 위한 대응 카메라 모델은 다음 예의 관계식으로 기술될 수 있다.
Figure pct00001
여기서, 벡터 s는 임의의 배율(scale factor)이고, c는 임의의 오프셋이다. 본 발명의 임의의 실시예들에서, 이들 상수는 제1 영상(105) 내에 존재하는 뷰에 정합하도록 카메라 모델 뷰포트(viewport)를 정렬하는데 사용된다. 행렬 승산(matrix multiplication)을 이용하면, 상기 식은 다음과 같이 된다.
Figure pct00002
본 발명의 일 실시예에서, 상기 직교 영상은 왜곡에 대해 정정된다. 예를 들어, 직교-교정(ortho rectification) 프로세스에 의해 왜곡이 제거되거나 보상되는데, 상기 프로세스는 필수적으로 타원 그리드(orthometric grid) 또는 좌표 시스템 상에 직교 영상의 각 픽셀을 고정하거나 경사지게 함으로써(fitting or warping) 직교 영상으로부터 경사를 제거한다. 상기 직교-보정 프로세스는 모든 픽셀들이 동일 그라운드 샘플 거리를 갖고 북쪽으로 방위된 영상을 생성한다. 따라서 직교 교정 영상 위의 임의의 포인트는 X, Y 좌표 시스템을 이용하여 배치될 수 있고, 영상 비율이 알려져 있는 한은 지리적 특징물(terrestrial features)의 길이 및 폭뿐만 아니라 이들 특징들 사이의 상대적 거리가 계산될 수 있다.
본 발명의 일 실시예에서, 제1 및 제2 영상들 중 하나는 경사 영상을 포함한다. 경사 영상들은 일반적으로 영상 포착 유닛을 운반하는 플랫폼의 일반적으로 측면 및 플랫폼으로부터 하방을 겨냥하거나 또는 가리키는 영상 포착 유닛에 의해 포착될 수 있다. 직교 영상과는 달리 경사 영상은 하우스, 빌딩 및/또는 산과 같은 지리적 특징물의 측면뿐만 아니라 그 평면을 디스플레이한다. 경사 영상의 전경(前景)의 각 픽셀은 묘사된 표면 즉, 오브젝트의 비교적 작은 영역에 대응하는(즉, 각 전경 픽셀은 비교적 작은 그라운드 샘플 거리를 갖고) 반면, 배경의 각 픽셀은 묘사된 표면 즉, 오브젝트의 비교적 큰 영역에 대응한다(즉, 각 배경 픽셀은 비교적 큰 그라운드 샘플 거리를 갖는다). 경사 영상들은 서브젝트 표면 즉 오브젝트의 일반적으로 사다리꼴 영역을 포착하고, 이 사다리꼴의 전경은 상기 사다리꼴의 배경보다 사실상 작은 그라운드 샘플 거리(즉, 높은 해상도)를 갖는다.
도 5
일단 제1 및 제2 영상이 선택되고, 디스플레이된 포인트 설정치(제어 포인트)가 선택된다. 포인트 설정치의 선택은 예를 들어, 오퍼레이터에 의해 본 발명의 일부 실시예들에서 수동으로 수행된다. 본 발명의 다른 실시예들에서, 제어 포인트들은 예를 들어 머신 비젼 특징 정합 기술에 의해 자동으로 선택될 수 있다. 수동 실시예들의 경우에, 오퍼레이터가 제1 영상 내의 한 포인트를 선택하고 제2 영상 내의 대응 포인트를 선택하는데, 이 모두는 실제의 3D 구조물에서 같은 포인트를 나타낸다.
정합 포인트들을 확인하고 나타내기 위해 오퍼레이터(113)는 제1 및 제2 디스플레이된 영상을 이용하여 디스플레이된 제1 및 제2 영상에서 대응 포인트들을 나타낸다. 도 3과 도 4의 예에 있어서, 실제 3D 구조물(1)의 포인트(A)는 지붕(1)의 우측 모서리를 나타낸다. 포인트(A)는 디스플레이된 영상에서 다른 위치에 나타날 수 있지만, 제1 영상(107)과 제2 영상(108)에서 나타난다.
제1 및 제2 영상에서 대응 포인트들을 나타내기 위해, 오퍼레이터는 제1 및 제2 영상(105, 107) 각각에서 오브젝트의 대응 포인트들 위해 디스플레이된 표시(indicia)를 나타낸다. 예를 들어, 표시는 제1 영상(105)에서 오브젝트(102)의 포인트(A)에 배치되고, 이어서 제2 영상(107)에서 오브젝트(102)의 대응 포인트(A)에 배치된다. 각 포인트에서 오퍼레이터는 예를 들어, 좌우 마우스 클릭 동작 또는 다른 선택 메커니즘의 동작으로 포인트를 선택을 나타낸다. 트랙볼, 키보드, 라이트펜, 터치스크린, 조이스틱, 등과 같은 다른 장치도 본 발명의 실시예들에서 적합하게 사용될 수 있다. 따라서 오퍼레이터는 제1 및 제2 영상의 정보를 이용하여 도 5에 도시된 바와 같은 여러 쌍의 제어 포인트를 생성한다.
본 발명의 일 실시예에서, 터치스크린 디스플레이가 사용될 수 있다. 이 경우, 오퍼레이터는 스크린을 터치하여 디스플레이된 영상에서 관심의 포인트 또는 다른 영역을 선택한다. 픽셀 좌표는 디스플레이 스크린 좌표 데스크립션(記述者;description)에서 예를 들어, 센싱된 터치 픽셀을 포함하는 영상에 대응하는 좌표 시스템 데스크립션으로 변환된다. 본 발명의 다른 실시예들에서, 오퍼레이터는 마우스를 이용하여 영상에서 선택 대상 포인트를 통해 마커, 또는 다른 표시기를 나타낸다. 마우스를 클릭하면 배치된 마커의 픽셀 좌표가 기록된다. 시스템(100)은 픽셀 좌표를 대응 영상 좌표로 변환한다.
본 발명의 3D 모델링 시스템의 3D 모델 생성기(950)에 제어 포인트들이 제공된다. 각 포인트 쌍 마다 에피폴라 라인(epipolar line)의 교점을 구함으로써 영상화된 구조물의 재구성이 가능하다.
도 7은 기면(基面; ground plane)들을 정의하는 포인트들을 도시한다. 본 발명의 일부 실시예들에서, 생성된 3D 모델은 나란한 기면들을 참조하여 가공된다. 도 7은 도 5에 도시된 제어 포인트들의 예시의 리스트로부터 제어 포인트들의 예시의 리스트를 도시하는데, 도 7의 제어 포인트들은 본 발명의 실시예에 따라 기면의 나란한 선들을 포함한다.
도 6은 오브젝트와 관련된 직각들을 정의하는 포인트들을 도시한다. 기면과 유사하게, 직각들도 3D 모델을 가공하기 위해 본 발명의 일부 실시예들에서 사용될 수 있다.
도 8은 본 발명의 시스템을 도시한다. 도 1 ~ 도 7을 참조로 하여 설명한 바와 같이, 오퍼레이터는 디스플레이 장치(803)에 디스플레이된 제1 및 제2 영상에서 제1 및 제2 영상 포인트 설정치를 선택한다. 제1 카메라 매트릭스(카메라 1)는 제1 영상으로부터 포인트 설정치를 수신하고, 제2 카메라 메트릭스(카메라 2)는 제2 영상으로부터 포인트 설정치를 수신한다. 카메라 1과 카메라 2 매트릭스에 대한 최초 파라미터를 제공함으로써 모델 생성이 개시된다.
본 발명의 일 실시예에서, 카메라 파라미터는 다음의 고유 파라미터(intrinsic parameter)를 포함한다.
a.) (u0, v0): 망막 상의 카메라 센터의 투영인 영상 센터의 픽셀들에서의 좌표
b.) (au, av): 상기 영상의 배율
c.) (dimx, dimy) : 상기 영상의 픽셀 크기
외부 파라미터는 다음과 같다.
a.) R: 기준 좌표 시스템에서 카메라의 축들을 제공하는 회전
b.) T: 기준 좌표 시스템에서 상기 카메라 중심의 위치(mm)
카메라 파라미터 모델링 유닛(815)은 제1 및 제2 영상에 대응하는 카메라 모델(행렬)을 제공하도록 되어 있다. 카메라 모델은 제1 및 제2 영상을 포착하는데 사용되는 카메라를 기술하기 위한 것이다. 본 발명의 카메라 파라미터 모델은 카메라 제약을 포함하도록 제1 및 제2 카메라 매트릭스를 모델링한다. 본 발명의 파라미터 모델은 발생하기 어렵거나 또는 무효인 파라미터들, 예를 들어, 하나의 영상에서 보여진 오브젝트로부터 떨어진 방향에서 하나의 렌즈를 가리키는 카메라 위치를 설명한다. 따라서, 이들 파라미터 값들은 테스트 파라미터들의 연산에서 고려될 필요가 없다.
카메라 파라미터 모델링 유닛은 적어도 부분적으로 선택된 제1 및 제2 영상의 속성을 기초로 하여 제1 및 제2 파라미터 설정치들 사이의 관계와 이들 파라미터들 사이의 제약 기술 관계를 모델링하도록 되어 있다.
본 발명의 카메라 파라미터 모델(1000)은 카메라 파라미터들의 무효 또는 발생하기 어려운 부-조합의 선택을 방지하도록 제1 및 제2 카메라에 대한 위치 제약에 대한 충분한 정보를 나타낸다. 따라서 3D 모델을 생성하기 위한 연산 시간은 파라미터 값들 예를 들어, 불가능하거나 아니면 무효이거나 발생하기 어려운 카메라 위치에 대한 파라미터 값들이 테스트 파라미터에 포함되는 경우 있게 되는 것보다 짧다.
일부 실시예들에서, 3차원 유클리드 공간(Euclidean space)에서 제1 및 제2 카메라의 방위를 기술하기 위해서 3개의 파라미터들이 사용된다. 본 발명의 여러 실시예들은 다른 방식으로 카메라 방위를 나타낸다. 예를 들어, 본 발명의 일 실시예에서, 카메라 파라미터 모델은 오일러 각(Euler angles)에 의해 카메라 위치를 나타낸다. 오일러 각은 강체의 방위를 기술하는 3개의 각이다. 이들 실시예에서, 3D 모델 공간에 대한 좌표 시스템은 오일러 각을 포함하는 카메라 각을 정의하는 실제 짐벌(gimbal)이 있는 경우와 같은 카메라 위치들을 기술한다.
오일러 각은 또한 기준(카메라) 프레임을 참조된(3D 모델) 프레임으로 이동하는 3개로 구성된 회전을 나타낸다. 따라서 임의의 방위는 3 요소의 회전(단일 축 둘레의 회전)을 구성하여 나타낼 수 있으며, 임의의 회전 행렬은 3 요소의 회전 행렬의 곱으로서 분해될 수 있다.
포인트 쌍의 각 포인트에 있어서, 모델 유닛(303)은 포인트를 포함하는 영상을 포착한 대응 가상 카메라를 통해 시선(또는 광선)을 투영한다. 제1 영상의 에피폴라 평면(epipole)을 통과하는 라인과 상기 제2 영상의 에피폴라 평면을 통과하는 라인은 이상적인 조건 예를 들어, 카메라 모델이 정확하게 영상을 포착하는데 사용된 실제 카메라를 나타내는 경우, 노이즈가 있는 경우 및 포인트 쌍들의 식별이 제1과 제2 사진들 사이에서 정확하고 일치된 경우 교차한다.
3D 모델 유닛(303)은 본 발명의 일 실시예에서 삼각측량 기술(triangulation technique)을 이용하여 제1 및 제2 카메라 모델들을 통해 투영된 광선의 교차점을 구한다. 일반적으로, 삼각측량은 포인트에 대한 거리를 직접적으로 측량하기 보다는 고정 기준선의 한 단부에서 공지의 포인트들로부터 한 포인트에 대한 각들을 측정함으로써 상기 한 포인트의 위치를 구하는 프로세스이다. 이 포인트는 하나의 공지의 변과 두 개의 공지의 각도를 갖는 하나의 삼각형의 제3 포인트로서 고정될 수 있다. 상기 포인트 및 공지의 다른 기준 포인트들로 형성된 삼각형의 각도들과 변들을 측정한다고 하는 경우, 한 포인트에 대한 좌표 및 거리는 삼각형의 한 변의 길이를 계산함으로써 구할 수 있다. 에러 없는 개념에서, 교차 좌표는 3D 모델 공간에서 상기 포인트의 3차원 위치를 포함한다.
본 발명의 일부 실시예들에 따르면, 3D 모델은 실제 구조물의 3차원 표시를 포함하고, 상기 표시는 한 좌표 시스템 예를 들어, 데카르트 좌표(Cartesian coordinate)를 참조로 한 기하적 데이터를 포함한다. 본 발명의 일부 실시예들에서, 3D 모델은 그래픽 데이터 파일을 포함한다. 3D 표시는 계산 및 측정을 위해 프로세서(도시 않음)의 메모리에 저장된다.
3D 모델은 3D 렌더링 프로세스를 통해 2차원 영상으로서 가시적으로 디스플레이될 수 있다. 본 발명의 시스템이 3D 모델을 일단 생성하면, 렌더링 엔진(995)은 디스플레이 장치(103)에서 상기 모델의 2D 영상들을 렌더링한다. 종래의 렌더링 기술이 본 발명의 실시예들의 사용에 적합하다. 렌더링 이외에, 3D 모델은 그 외에 그래픽, 또는 비 그래픽 컴퓨터 시뮬레이션 및 계산에 유용하다. 렌더링된 2D 영상들은 후에 보기 위해 저장될 수 있다. 그러나 여기에서 기술된 본 발명의 실시예들은 오퍼레이터가 제어 포인트 쌍들을 나타낼 때, 디스플레이(103)에서 거의 실시간으로 렌더링된 영상들을 디스플레이되게 한다.
3D 모델을 포함하는 3D 좌표는 3D 실제 공간 내의 구조물 포인트들의 위치를 정의한다. 대조적으로, 영상 좌표들은 필름이나 또는 다른 전자 촬상 장치 상에서 구조물 영상 포인트들의 위치를 정의한다.
포인트 좌표들은 3D 영상 좌표와 3D 모델 좌표 사이에서 해석된다. 예를 들어, 사진 영상 면에 나란한 평면에 놓여있는 두 개의 포인트들 사이의 거리는 영상의 비율이 공지의 경우, 영상에서 이들 포인트들의 거리를 측정함으로써 구해질 수 있다. 측정된 거리는 1/s로 승산된다. 본 발명의 일부 실시예들에서, 상기 제1 영상 및 제2 영상중 하나 또는 그 모두에 대한 비율 정보는 예를 들어, 다운로드된 영상들과 더불어 메타데이터로서 비율 정보를 수신함으로써 알게 된다. 상기 비율 정보는 측정 유닛(119)에서 사용을 위해 저장된다. 따라서 측정 유닛(119)은 오퍼레이터(113)로 하여금 디스플레이 장치(103) 상에 렌더링된 모델을 측정함으로써 실제의 3D 오브젝트를 측정할 수 있도록 한다.
오퍼레이터(61)는 시스템(100)에 다운로드를 위해 적어도 두 개의 영상을 선택한다. 본 발명의 일 실시예에서, 제1 선택 영상은 집의 평면도이다. 제2 선택 영상은 하우스의 사시도이다. 오퍼레이터(61)는 디스플레이 장치(70) 상에 두 개의 영상을 디스플레이한다. 마우스, 또는 다른 적합한 입력 장치를 사용하여 오퍼레이터(61)는 상기 제1 및 제2 영상에서 포인트들의 세트들을 선택한다. 제1 영상에서 선택된 모든 포인트에 있어서, 상기 제2 영상에서 대응 포인트가 선택된다. 전술한 바와 같이, 시스템(100)은 오퍼레이터(109)로 하여금 2D 디스플레이 장치(103)에 디스플레이된 2차원(2D) 영상들의 정보를 이용하여 이 영상들을 조작하게 한다. 도 1의 간단한 실시예에서, 적어도 하나의 2D 영상 예를 들어, 제1 사진 영상(105)이 프로세서(112)를 통해 영상 소스(10)로부터 입수된다. 본 발명의 다른 실시예들에서, 적합한 2D 영상 소스는 프로세서(112)에 저장되어 있고, 디스플레이 장치(103)에서의 디스플레이를 위해 오퍼레이터(109)에 의해 선택된다. 본 발명은 사용된 영상 소스들의 숫자 및 형태로 한정되지 않는다. 이보다는 영상 소스(10)는 2D 영상 입수 및 디스플레이 장치(103)에서 디스플레이를 위해 다양한 것이 적합하다.
예를 들어, 전술한 예시의 실시예에서, 본 발명은 상기 구조물의 영상들을 기초로 하여 거주지 구조물의 치수를 원격으로 측정하도록 되어 있다. 이러한 실시예들에서, Microsoft™이 개발한 것과 같은 상업적 그래픽 영상 데이터베이스가 2D 영상 소스로 적합하다. 본 발명의 일부 실시예들은 하나 이상의 2D 영상 소스를 사용한다. 예를 들어, 제1 영상(105)은 제1 영상 소스로부터 선택되고, 제2 영상(107)은 제2 영상 소스로부터 선택된다. 소비자 등급 촬상 장치, 예를 들어, 일회용 카메라, 비디오 카메라 등이 본 발명의 실시예들에서 적합하게 사용된다. 유사하게, 실제 오브젝트의 상업적 등급 2D 영상을 제공하는 위성, 지리 조사 촬상 장비 및 다른 다양한 촬상 장비가 본 발명의 다양한 실시예에서 적합하게 사용된다.
본 발명의 다른 실시예에 따르면, 제1 및 제2 영상은 프로세서(1120에 결합된 로컬 스캐너를 이용하여 스캐닝된다. 각 스캐닝된 영상의 스캔 데이터는 프로세서(112)에 제공된다. 스캐닝된 영상들은 디스플레이 장치(103)에서 오퍼레이터에게 디스플레이된다. 또 다른 실시예에서, 영상 포착 장비는 실제의 하우스가 위치한 장소에 위치한다. 이 경우, 영상 포착 장비는 인터넷을 통해 프로세서(112)에 영상들을 제공한다. 다른 영상 소스는 데이터 네트워크를 통해 프로세서(112)에 접속된 영상 입수 및 통신 시스템이다. 영상을 생성하고 전달할 수 있는 다양한 형태의 방법 및 장치가 본 발명의 여러 실시예들에 적합하게 사용된다.
모델 가공
실제로, 실제 사진에서 에피폴라 기하가 불완전하게 실시된다. 제1 및 제2 영상으로부터의 제어 포인트들의 2D 좌표는 임의의 정확성을 갖고 측정될 수 없다. 렌즈 왜곡, 또는 관심 포인트 검출 에러로부터의 기하적 노이즈와 같은 여러 형태의 노이즈가 제어 포인트 노이즈에 부정확성을 유도한다. 또한, 제1 카메라와 제2 카메라의 위치는 완벽하게 알려지지 않는다. 따라서 제1 및 제2 카메라 매트릭스를 통해 대응 제어 포인트들로부터 3D 모델 생성기에 의해 투영된 라인들은 삼각측량되는 경우 3D 공간에 항상 교차하지 않는다. 이 경우, 3D 좌표에 대한 추정이 3D 모델 생성기에 의해 투영된 라인들의 상대적 라인 위치의 평가를 기초로 하여 수행된다. 본 발명의 다른 실시예에서, 추정된 3D 포인트는 제2 제어 포인트 투영에 대한 제1 제어 포인트 투영의 가장 가까운 근사 관계를 나타내는 3D 모델 공간의 포인트를 식별함으로써 구해진다.
이 추정된 3D 포인트는 실제의 구조물에서 만들어진 직접적이고 에러 없는 측정을 갖는 실제의 구조물에서 같은 포인트로부터 편이에 비례하는 에러 비율을 가진다. 본 발명의 일부 실시예들에서 상기 추정된 에러는 제어 포인트 쌍의 노이즈가 없고, 왜곡이 없고, 에러가 없는 투영으로부터 얻어진 3D 포인트로부터의 추정된 포인트의 편이를 나타낸다. 본 발명의 다른 실시예에서, 상기 추정된 에러는 3D 모델의 생성에 있어서 오퍼레이터에 의해서와 같은 외부적으로 정의된 기준으로 기초로 실제의 3D 포인트의 "최적의 추정"을 나타내는 3D 포인트로부터 추정된 포인트에 대한 편이를 나타낸다.
재투영(re-projection) 에러는 투영된 포인트와 측정된 포인트 사이에는 영상 거리에 대응하는 기하적 에러이다. 재투영은 3D 포인트
Figure pct00003
의 추정치가 상기 포인트의 참 투영
Figure pct00004
에 가깝게 재생성하는 방법에 대한 자격을 준다. 보다 정밀하게는,
Figure pct00005
를 카메라의 투영 행렬로 놓고,
Figure pct00006
를
Figure pct00007
의 영상 투영으로 놓는다. 즉,
Figure pct00008
이다.
Figure pct00009
의 재투영 에러는
Figure pct00010
로 주어지고, 여기서
Figure pct00011
는 벡터
Figure pct00012
와
Figure pct00013
로 표시된 영상 포인트들 사이의 유클리드 거리이다.
모델링된 3D 실제 구조물을 가능한 한 가깝게 나타내는 3D 모델 표시를 생성하기 위해서는 재투영 에러를 최소화하는 것이 바람직하다. 따라서 예를 들어, 태양 전지판을 설치할 목적으로, 치수들을 측정할 정도의 정밀성을 갖는 3D 모델을 생성하기 위해서는 본 발명의 실시예들은 투영된 라인들이 가능한 한 가깝게 교차하도록 하면서 카메라 파라미터 모델의 제약 내에서 추정된 3D 포인트가 놓이도록 보장하기 위해서 제1 및 제2 카메라 데스크립션을 조정한다.
본 발명의 일 실시예에서 전술한 바와 같이 생성된 3D 모델 좌표가 가공된다. 카메라 모델을 통해 다수 쌍의 제어 포인트를 투영하여 생성된 3D 모델을 포함하는 3D 포인트들의 수가 주어진 경우, 카메라 파라미터들 및 상기 모델을 포함하는 3D 포인트들은 상기 3D 모델이 모든 포인트들의 대응 영상 투영을 포함하는 최적의 기준에 부합할 때까지 조정된다. 이는 파라미터 모델의 제약을 고려할 때 최적인 재구성을 얻기 위해서 3D 영상과 뷰잉 파라미터들(즉, 카메라 위치, 및 가능하게는 고유 칼리브레이션 및 반경수차(radial distortion))에 대한 최적화 문제와 같다. 본 발명의 기술은 다수의 비선형 실제 값 함수의 자승의 합으로 표시되는 관찰된 영상 위치들과 예측된 영상 포인트들 사이의 재투영 에러를 효과적으로 최소화한다. 이러한 형태의 최소화는 일반적으로 비선형 최소 자승 알고리즘(least square algorithm)을 이용하여 달성된다. 물론, Levenberg-Marquardt 방법이 자주 이용된다. 이 Levenberg-Marquardt 방법은 현재 추정치의 인접값에서 최소화되는 함수를 반복적으로 선형화한다. 이 알고리즘은 정규 방정식으로 알려진 선형 시스템의 해를 포함한다. 제로 요소들에 저장하고 동작하는 것을 방지하는 정규 방정식 제로 패턴의 장점을 명확하게 얻는 Levenberg-Marquardt 알고리즘의 효과적이고 희박한 변형에도 불구하고, 본 발명이 전개되는 응용에서 실제적인 사용이 될 수 있는 계산 프로세스에서 시간을 많이 소모하게 된다.
도 8은 본 발명의 실시예에 따른 오브젝트의 적어도 2D 영상을 기초로 하여 오브젝트의 3D 모델을 생성하는 방법의 단계를 나나태는 흐름도이다.
단계 805에서, 오퍼레이터에 의해 선택된 제어 포인트들이 수신된다. 예를 들어, 오퍼레이터는 한 부분 즉, 하우스를 포함하는 제1 영상으로부터 하우스의 A를 선택한다. 오퍼레이터는 같은 하우스를 포함하는 제2 영상으로부터 같은 하우스의 같은 부분 A를 선택한다. 상기 제1 및 제2 영상에서 도시된 하우스의 오퍼레이터 선택 부분들의 디스플레이 좌표는 프로세스에 제공된다. 단계 807에서, 최초 카메라 파라미터들이 예를 들어 오퍼레이터로부터 수신된다. 단계 809에서 나머지 카메라 파라미터들이 카메라 파라미터 모델을 적어도 부분적으로 기초로 하여 계산된다. 나머지의 단계 811 내지 825는 도 8에서 기술된 바와 같이 수행된다.
본 발명의 일 실시예에 따라 생성된 3D 모델에서 에러를 최소화하는 방법을 도시 및 기술한다.
본 발명의 일 실시예에서, 제1 및 제2 카메라 각각은 3D 모델 공간(915, 916)에 위치한 플랫폼을 구비한 카메라 상에 장착된 카메라와 같은 모델로 된다. 이 플랫폼은 순서적으로 카메라 '짐발'에 결합된다. 따라서 불가능한 카메라 위치가 '짐발 고정' 위치로서 구현된다. 짐발 락(gimbal lock)은 3개의 짐발 중 두 개의 축들이 병렬 구성으로 구동되어 시스템을 2 차원 공간에서 회전으로 "고정(locking)"할 때, 일어나는 3차원 공간에서 자유도의 손실이다.
도 10은 본 발명의 실시예에 따라 모델 공간에 2D 영상 제어 포인트들을 투영하는 최적의 제1 및 제2 카메라 매트릭스를 신속하게 결정하는 하나의 바람직한 구성 및 방법을 나타낸다. 상기 모델에 따라, 상기 제1 및 제2 카메라 매트릭스에 대한 최초 파라미터들은 대응 가상의 카메라(915, 916)의 개구들이 구(905)의 중심을 향해 지향되도록 배치되는 것으로 가정한다. 또한, 하나의 카메라(916)는 좌표 축(1009)의 좌표 x0, y1, z0에서 구(901) 쪽에 위치 즉, 상기 구의 중심을 향해 바로 아래쪽으로 조준되는 개구를 구비한 구의 상부 반구의 상부에 위치하는 것으로 모델링된다.
또한, 가능한 위치의 범위는 구의 표면상의 위치와 또한 구의 상부 반구로 제한된다. 또한, 카메라(915)의 x 축 위치는 x =0으로 설정된다. 따라서, 위의 제약과 일치하는 카메라(915)가 취하는 위치는 Z = 1과 z = -1 사이의 z 축에 놓이고, 상기 y 축에 대한 카메라(915)의 위치는 z 축 위치로 결정된다. 카메라(915, 916) 각각은 그 각각의 광축 주위로 자유로이 회전한다.
도 10에 도시된 배치는 최초의 추정치로부터 정의된 수렴 기준과 부합하는 추정치로 3D 포인트 추정치의 수렴을 용이하게 하는 카메라 매트릭스 최초 파라미터들을 제공한다.
따라서 고유 카메라 파라미터들에 대해 구한 초기 값들은 도 11 및 도 12에 도시한 방법의 최초 단계 동안 설정된다. 이들은 방법의 실행 동안 불변이다. 한편, 본 발명의 시뮬레이션 방법들의 연속적인 반복을 위한 외부 파라미터의 변경은 두 축을 따라 하나의 카메라의 위치를 고정하고, 하나의 축을 따라 다른 카메라의 위치를 고정함으로써 저감된다.
도 11 파라미터 방법
도 11은 도 10에 도시한 파라미터 모델에 의해 주어진 C1 최초 파라미터를 기초로 하여 카메라 1(C1) 피치, 요우 및 롤을 구하는 방법을 도시 및 기술한다.
도 12- 파라미터 방법
유사하게, 도 12는 도 10에 도시한 파라미터 모델에 의해 주어진 C2 최초 파라미터를 기초로 하여 카메라 2(C2) 피치, 요우 및 롤을 구하는 방법을 도시 및 기술한다.
도 13- 일례의 GUI 스크린 샷
도 13은 오퍼레이터로 하여금 본 발명의 실시예에 따라 디스플레이된 제1 및 제2 영상의 정보를 이용하게 하는 그래픽 유저 인터페이스의 스크린 샷을 도시한다.
도 14- 시뮬레이션 방법- 최저 에러 출력을 사용
도 14는 생성된 3D 모델에서 에러를 최소화하면서 3D 모델을 생성하기 위한 방법의 단계들을 도시 및 기술한다.
도 15- 카메라 파라미터 및 시뮬레이션 방법
도 15는 본 발명의 일 실시예에 따라 3D 모델을 생성하는 방법의 단계들을 도시 및 기술한다.
도 16은 본 발명의 일 실시예에 따라 제1 및 제2 영상으로부터 포인트 설정치들의 투영을 기초로 하여 3D 모델을 제공하는 일례의 3D 모델 생성기를 도시하는 개념도이다. 도 16은 1, 2 및 3에서 제1 및 제2 영상들 내의 2D 포인트들에 대응하는 3D 모델의 3D 포인트들을 도시한다. 3D 모델 생성기는 각각의 제어 포인트 쌍 마다 대응 3D 포인트들을 제공하기 위해 상기 제어 포인트 쌍에서 동작한다. 제1 및 제2 영상의(각기 같은 3차원 포인트에 대응) 제1 및 제2 영상의 포인트들의 경우에, 상기 영상 포인트들과 상기 3 차원 포인트 및 광학 중심(optical center)은 동일평면상에 있다.
3D 공간 내의 오브젝트는 원근 투영(perspective projection) 변환 기술에 의해 영상을 포착한 장치의 뷰 파인더를 통해 상기 영상의 2D 공간에서 오브젝트의 영상에 매핑될 수 있다. 다음의 파라미터들이 상기 변환을 기술하는데 때때로 사용된다.
ax,y,z = 투영되는 실제의 3D 공간의 포인트
cx,y,z = 카메라의 현실의 실제 위치
θx,y,z = 실제 카메라의 회전. 이때, cx,y = 〈0, 0, 0〉및
θx,y,z = 〈0, 0, 0〉, 3D 벡터 <1, 2, 0>은 2D 벡터 <1, 2>에 투영됨.
ex,y,z = 실제의 디스플레이 표면에 대한 뷰어의 위치
따라서,
bx,y = a 의 2D 투영이 된다.
본 발명은 상기 역변환을 이용한다. 환언하면, 본 발명은 영상을 포착한 장치의 뷰파인더를 통해 보는 바와 같이, 2D 공간 내에서 오브젝트의 영상에서 한 포인트를 매핑한다. 이를 위해 본 발명은 카메라 1 매트릭스(731), 카메라 2 매트릭스(732)를 제공하여 3D 모델 공간(760)에 포인트 쌍들을 투영하여 모델 형태 내에 3D 실제의 오브젝트를 재구성한다.
카메라 매트릭스 1 및 2는 카메라 파라미터들로 정의된다. 카메라 파라미터들은 '고유 파라미터들' 및 '외부 파라미터'를 포함할 수 있다. 외부 파라미터들은 카메라의 외부 방위, 예를 들어 공간의 위치 및 뷰 방향을 정의한다. 고유 파라미터는 촬상 프로세스의 기하적 파라미터들을 정의한다. 이는 기본적으로 렌즈의 초점 길이이지만, 또한 렌즈 왜곡수차의 기술을 포함할 수 있다.
따라서 제1 카메라 모델(또는 매트릭스)은 제1 영상을 포착한 카메라의 가상 데스크립션을 포함한다. 제2 카메라 모델(또는 매트릭스)은 제2 영상을 포착한 카메라의 가상 데스크립션을 포함한다. 본 발명의 일부 실시예들에서, 카메라 매트릭스(731, 732)는 카메라 리섹셔닝(camera resectioning) 기술을 이용하여 구성된다. 카메라 리섹셔닝은 소정의 사진 또는 비디오를 생성한 카메라의 참 파라미터를 구하는 프로세스이다. 카메라 파라미터들은 카메라 메트릭스 1 및 카메라 메트릭스 2를 포함하는 3 × 4 매트릭스에서 표시된다.
도 17- 카메라 매트릭스 및 모델 공간
도 17은 제어 포인트들이 제1 및 제2 카메라 모델에 의해 투영된 3D 모델 공간을 나타낸다.
여기서 사용되는 용어 '카메라 모델'은 핀홀 카메라를 통해 실제의 오브젝트를 포함하는 3D 포인트들을 상기 오브젝트의 2D 영상 내의 2D 포인트들에 매핑하는 것을 기술하는 3 × 4 매트릭스를 말한다. 이 경우, 2D 장면 또는 사진 프레임은 뷰포인트를 말한다.
카메라와 투영 면 사이의 거리는 d, 그리고 뷰포인트의 치수는 vw와 vh로 표시한다. 취득된 이들 값들이 함께 투영 뷰의 필드를 결정하는데, 즉 투영된 영상에서 볼 수 있는 각을 구한다.
Figure pct00014

프로젝터
제1 및 제2 카메라 매트릭스는 카메라 모델에 따라 구성된 가상의 카메라를 통해 제1 및 제2 영상으로부터 얻어진 각각의 2D 제어 포인트로부터의 광선을 3D 모델이 제공되게 되는 3D 영상 공간 내에 투영한다.
따라서 각 카메라 매트릭스는 그 자신의 카메라 매트릭스 파라미터 설정치에 따라 광선을 투영한다. 제1 및 제2 영상을 제공하는 카메라에 대한 실제 카메라 파라미터들이 알려져 있지 않으므로, 하나의 해결책은 카메라 파라미터들을 추정하는 것이다.
제1 및 제2 카메라 매트릭스를 통해 투영되는 소정 세트의 2D 포인트들은 3D 모델에로의 이상적인 투영에 있어서 같은 포인트에 대응하는 것이 또한 알려져 있다. 이러한 지식을 기반으로 본 발명의 원리에 따른 카메라 파라미터 추정은 추정된 초기 값들을 수동으로 제공하고, 수렴 테스팅을 수행하고, 상기 수렴 테스트의 결과를 기초로 카메라 매트릭스를 조정하는 단계를 포함한다.
도 18- 영상 등록 방법
도 18은 본 발명의 일 실시예에 따라 제1 영상과 제2 영상을 서로 등록하는 방법의 단계를 도시 및 기술한다.
도 20- 3D 모델 생성 방법
도 20은 본 발명의 일 실시예에 따라 번들 조정을 위한 방법의 단계를 도시 및 기술한다.
도 21 모델 생성기
도 21은 본 발명의 일 실시예에 따른 3D 모델 생성기의 블록도이다.
도 22 모델 생성 방법 오버플로우
도 22는 본 발명의 일 실시예에 따른 번들 조정 방법의 단계를 도시 및 기술하는 흐름도이다.
도 23 모델 생성기 실시예
도 23은 본 발명의 일 실시예에 따른 카메라 모델링 유닛의 블록도이다.
시스템(100)을 포함하는 부품들이 개별 장치로서 구현가능하고, 이와는 달리 여러 조합으로 집적될 수 있다. 상기 부품들은 하드웨어와 소프트웨어의 다양한 조합으로 실시가능하다.
본 발명은 바람직한 양태를 기술하였지만, 본 발명은 개시된 설명의 사상 및 영역 내에서 변경될 수 있다. 따라서 이 개시는 여기에 개시된 구조와 요소들에 대한 등가물을 포함하는 것으로 해석되어야 한다. 또한, 이 개시는 여기에 기술된 일반적인 원리를 사용하는 본 발명의 변형, 사용 또는 채용을 망라하는 것으로 해석되어야 한다. 더욱이 이 개시는 첨부의 청구범위의 한정 내에 있는 본 발명이 속하는 당업자에게 자명한 청구 대상으로부터 개발된 것들을 망라한다. 본 발명은 특정 실시예를 참조로 하여 설명하였으나, 이는 한정이 아니라 다양하게 변경, 수정 및 개선이 있을 수 있음은 자명하다.

Claims (10)

  1. 실제의 오브젝트(real world object)에 대한 3D 모델을 생성하고, 투영 에러의 추정치에 따라 적어도 하나의 카메라 모델 파라미터를 조정하는 시스템으로서,
    카메라 파라미터들을 수신하는 제1 입력; 및 제1 오브젝트의 각각의 제1 및 제2 영상의 포인트들에 대응하는 제1 및 제2 포인트 설정치들을 수신하는 제2 입력을 포함하고, 상기 카메라 파라미터들에 따라 3D 공간에 상기 제1 및 제2 포인트 설정치들에 대한 투영을 제공하는 카메라 모델러; 및
    상기 투영치를 수신하는 입력; 상기 투영치를 기초로 상기 제1 오브젝트의 3D 모델을 제공하는 제1 출력; 및 상기 투영 에러에 대한 추정치를 제공하는 제2 출력을 포함하는 오브젝트 모델러를 포함하고,
    상기 카메라 모델러는 상기 적어도 하나의 조정된 카메라 모델 파라미터를 기초로 하여 상기 제1 및 제2 포인트 설정치를 투영하여 상기 오브젝트 모델러가 상기 제1 오브젝트의 에러 교정 3D 모델을 제공할 수 있게 하는 것인, 실제 오브젝트에 대한 3D 모델 생성 시스템.
  2. 제1항에 있어서,
    상기 에러 정정된 3D 모델의 수신을 위한 입력을 포함하고, 상기 에러 정정된 3D 모델을 기초로 하여 상기 브젝트에 대한 2D 표현epresentation)을 제공하는 렌더링 유닛을 더 포함하는, 실제 오브젝트에 대한 3D 모델 생성 시스템.
  3. 제 2 항에 있어서,
    상기 에러 정정된 3D 모델의 2D 표현을 수신하는 입력을 포함하고, 상기 제1 오브젝트의 2D 표현을 디스플레이하는 2D 디스플레이 장치; 및
    상기 디스플레이 유닛에 접속되고 오퍼레이터로 하여금 상기 제1 오브젝트의 2D 표현을 이용하여 상기 오브젝트의 치수를 측정할 수 있도록 하는 오퍼레이터 제어 장치를 더 포함하는, 실제 오브젝트에 대한 3D 모델 생성 시스템.
  4. 제1항에 있어서,
    상기 실제의 3D 오브젝트에 대한 제1 및 제2 2D 영상들을 디스플레이하도록 구성된 디스플레이 장치; 및
    오퍼레이터로 하여금 상기 디스플레이된 2D 영상들을 이용하여 상기 제1 및 제2 포인트 설정치를 정의할 수 있도록 상기 디스플레이 장치에 접속되는 오퍼레이터 입력 장치를 더 포함하는, 실제 오브젝트에 대한 3D 모델 생성 시스템.
  5. 제 4 항에 있어서,
    상기 2D 디스플레이 장치는 제2 오브젝트의 적어도 하나의 영상을 디스플레이할 수 있도록 구성되고, 상기 오퍼레이터 제어 장치는 오퍼레이터로 하여금 상기 디스플레이된 제1 영상, 상기 디스플레이된 제2 영상, 및 상기 에러 정정된 3D 모델을 기초로 하여 디스플레이된 렌더링 영상 중 하나에서 상기 제2 오브젝트의 영상을 위치설정할 수 있게 하도록 구성되는, 실제 오브젝트에 대한 3D 모델 생성 시스템.
  6. 오브젝트에 대한 3D 모델을 생성하는 방법으로서,
    카메라 모델러를 제1 및 제2 초기 카메라 파라미터들을 이용하여 초기화하는 단계;
    상기 카메라 모델러에 의해 상기 오브젝트의 제1 및 제2 2D 영상들에서 나타나는 상기 오브젝트 상의 포인트들에 대응하는 제1 및 제2 2D 포인트 설정치들을 수신하는 단계;
    상기 카메라 모델러에 의해 상기 제1 및 제2 2D 포인트 설정치들을 3D 모델 공간 내에 투영하는 단계;
    상기 투영을 기초로 하여 상기 오브젝트에 대한 3D 모델을 포함하기 위한 3D 좌표를 결정하는 단계;
    상기 투영된 제1 및 제2의 2D 포인트 설정치들과 관련된 에러를 결정하는 단계;
    상기 에러에 따라 적어도 하나의 초기 카메라 파라미터를 조정하여 상기 제1 및 제2의 2D 포인트 설정치들이 상기 정정된 카메라 파라미터에 따라 재투영되게 하는 단계; 및
    상기 재투영된 제1 및 제2의 2D 포인트 설정치들을 기초로 하여 상기 오브젝트의 3D 모델을 포함하기 위한 3D 좌표를 결정하는 단계를 포함하는, 오브젝트에 대한 3D 모델 생성 방법.
  7. 제 6 항에 있어서,
    상기 투영을 생성하는 단계, 상기 3D 좌표를 결정하는 단계, 상기 에러를 결정하는 단계 및 상기 카메라 파라미터를 조정하는 단계는 상기 결정된 에러가 소정의 에러 보다 작거나 동일해질 때까지 반복되는, 오브젝트에 대한 3D 모델 생성 방법.
  8. 제 7 항에 있어서,
    상기 반복 단계 및 상기 에러를 결정하는 단계는 소정의 에러를 수렴하기 위한 시간을 최적화하기 위해 적어도 하나의 카메라 파라미터를 유도함으로써 수행되는, 오브젝트에 대한 3D 모델 생성 방법.
  9. 제 6 항에 있어서,
    디스플레이 장치 상의 디스플레이를 위해 상기 에러 정정된 3D 모델을 렌더링하는 단계를 더 포함하는, 오브젝트에 대한 3D 모델 생성 방법.
  10. 제 6 항에 있어서,
    제3 영상에서 나타내는 제2 오브젝트를 표현하는 제3 세트의 포인트들을 수신하는 단계;
    상기 3D 모델 공간 내에 상기 제3 세트의 포인트들을 동작시킴으로써 상기 제1 오브젝트의 비율 및 방위를 정합하도록 상기 표현된 제2 오브젝트의 비율 및 방위를 조정하는 단계; 및
    상기 디스플레이된 제1 오브젝트와 함께 상기 제2 오브젝트를 디스플레이하는 단계를 더 포함하는, 오브젝트에 대한 3D 모델 생성 방법.

KR1020137011059A 2010-10-07 2011-10-07 신속 3ｄ 모델링 KR20130138247A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US39106910P 2010-10-07 2010-10-07
US61/391,069 2010-10-07
PCT/US2011/055489 WO2012048304A1 (en) 2010-10-07 2011-10-07 Rapid 3d modeling

Publications (1)

Publication Number Publication Date
KR20130138247A true KR20130138247A (ko) 2013-12-18

Family

ID=45928149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137011059A KR20130138247A (ko) 2010-10-07 2011-10-07 신속 3ｄ 모델링

Country Status (12)

Country Link
US (1) US20140015924A1 (ko)
EP (1) EP2636022A4 (ko)
JP (2) JP6057298B2 (ko)
KR (1) KR20130138247A (ko)
CN (1) CN103180883A (ko)
AU (1) AU2011312140C1 (ko)
BR (1) BR112013008350A2 (ko)
CA (1) CA2813742A1 (ko)
MX (1) MX2013003853A (ko)
SG (1) SG189284A1 (ko)
WO (1) WO2012048304A1 (ko)
ZA (1) ZA201302469B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083573A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 구조도 생성 방법 및 장치
KR102089719B1 (ko) * 2019-10-15 2020-03-16 차호권 기계 설비 공사 공정을 위한 제어 방법 및 장치
KR102118937B1 (ko) 2018-12-05 2020-06-04 주식회사 스탠스 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2701645C (en) 2007-10-04 2017-09-26 Sungevity Methods and systems for provisioning energy systems
US9310403B2 (en) 2011-06-10 2016-04-12 Alliance For Sustainable Energy, Llc Building energy analysis tool
WO2014006832A1 (ja) * 2012-07-02 2014-01-09 パナソニック株式会社 サイズ測定装置及びサイズ測定方法
US9171108B2 (en) * 2012-08-31 2015-10-27 Fujitsu Limited Solar panel deployment configuration and management
AU2013326865B2 (en) * 2012-10-05 2019-03-21 Eagle View Technologies, Inc. Determining image transforms without using image acquisition metadata
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
WO2015031593A1 (en) 2013-08-29 2015-03-05 Sungevity, Inc. Improving designing and installation quoting for solar energy systems
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
US20150234943A1 (en) * 2014-02-14 2015-08-20 Solarcity Corporation Shade calculation for solar installation
WO2015185968A1 (en) * 2014-06-06 2015-12-10 Tata Consultancy Services Limited Constructing a 3d structure
HU231354B1 (hu) 2014-06-16 2023-02-28 Siemens Medical Solutions Usa, Inc. Több nézetű tomográfiai rekonstrukció
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
WO2016141208A1 (en) * 2015-03-04 2016-09-09 Usens, Inc. System and method for immersive and interactive multimedia generation
EP3316589B1 (en) * 2015-06-25 2024-02-28 Panasonic Intellectual Property Management Co., Ltd. Video synchronization device and video synchronization method
EP3345129A4 (en) * 2015-08-31 2019-07-24 Cape Analytics, Inc. SYSTEMS AND METHOD FOR ANALYZING REMOTE IMAGING IMAGES
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
EP4131172A1 (en) 2016-09-12 2023-02-08 Dassault Systèmes Deep convolutional neural network for 3d reconstruction of a real object
AU2019212616A1 (en) * 2018-01-25 2020-08-06 Geomni, Inc. Systems and methods for rapid alignment of digital imagery datasets to models of structures
CN108470151A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种生物特征模型合成方法及装置
CA3037583A1 (en) 2018-03-23 2019-09-23 Geomni, Inc. Systems and methods for lean ortho correction for computer models of structures
DE102018113047A1 (de) * 2018-05-31 2019-12-05 apoQlar GmbH Verfahren zur Ansteuerung eines Displays, Computerprogramm und Augmented Reality-, Virtual Reality- oder Mixed Reality-Anzeigeeinrichtung
WO2019229301A1 (en) * 2018-06-01 2019-12-05 Immersal Oy Solution for generating virtual reality representation
CN109151437B (zh) * 2018-08-31 2020-09-01 盎锐（上海）信息科技有限公司 基于3d摄像机的全身建模装置及方法
CN109348208B (zh) * 2018-08-31 2020-09-29 盎锐（上海）信息科技有限公司 基于3d摄像机的感知编码获取装置及方法
US11455074B2 (en) * 2020-04-17 2022-09-27 Occipital, Inc. System and user interface for viewing and interacting with three-dimensional scenes
WO2022082007A1 (en) 2020-10-15 2022-04-21 Cape Analytics, Inc. Method and system for automated debris detection
WO2023283231A1 (en) 2021-07-06 2023-01-12 Cape Analytics, Inc. System and method for property condition analysis
US20230230250A1 (en) 2022-01-19 2023-07-20 Cape Analytics, Inc. System and method for property detection and analysis

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
IL113496A (en) * 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
US6858826B2 (en) * 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
EP0901105A1 (en) * 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
JPH11183172A (ja) * 1997-12-25 1999-07-09 Mitsubishi Heavy Ind Ltd 写真測量支援システム
WO2000004508A1 (en) * 1998-07-20 2000-01-27 Geometrix, Inc. Automated 3d scene scanning from motion images
JP3476710B2 (ja) * 1999-06-10 2003-12-10 株式会社国際電気通信基礎技術研究所 ユークリッド的な３次元情報の復元方法、および３次元情報復元装置
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
WO2003036384A2 (en) * 2001-10-22 2003-05-01 University Of Southern Extendable tracking by line auto-calibration
AU2003277240A1 (en) * 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
JP4100195B2 (ja) * 2003-02-26 2008-06-11 ソニー株式会社 ３次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US20050140670A1 (en) * 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US7950849B2 (en) * 2005-11-29 2011-05-31 General Electric Company Method and device for geometry analysis and calibration of volumetric imaging systems
US8078436B2 (en) * 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
CA2701645C (en) * 2007-10-04 2017-09-26 Sungevity Methods and systems for provisioning energy systems
US8417061B2 (en) * 2008-02-01 2013-04-09 Sungevity Inc. Methods and systems for provisioning energy systems
JP5018721B2 (ja) * 2008-09-30 2012-09-05 カシオ計算機株式会社 立体模型の作製装置
US8633926B2 (en) * 2010-01-18 2014-01-21 Disney Enterprises, Inc. Mesoscopic geometry modulation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150083573A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 구조도 생성 방법 및 장치
KR102118937B1 (ko) 2018-12-05 2020-06-04 주식회사 스탠스 3d 데이터서비스장치, 3d 데이터서비스장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102089719B1 (ko) * 2019-10-15 2020-03-16 차호권 기계 설비 공사 공정을 위한 제어 방법 및 장치

Also Published As

Publication number Publication date
JP6057298B2 (ja) 2017-01-11
US20140015924A1 (en) 2014-01-16
CA2813742A1 (en) 2012-04-12
BR112013008350A2 (pt) 2016-06-14
JP2013539147A (ja) 2013-10-17
AU2011312140A1 (en) 2013-05-02
EP2636022A4 (en) 2017-09-06
EP2636022A1 (en) 2013-09-11
AU2011312140B2 (en) 2015-08-27
WO2012048304A1 (en) 2012-04-12
JP2017010562A (ja) 2017-01-12
ZA201302469B (en) 2014-06-25
AU2011312140C1 (en) 2016-02-18
CN103180883A (zh) 2013-06-26
MX2013003853A (es) 2013-09-26
SG189284A1 (en) 2013-05-31

Similar Documents

Publication Publication Date Title
JP6057298B2 (ja) 迅速な３ｄモデリング
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
Mastin et al. Automatic registration of LIDAR and optical images of urban scenes
US8139111B2 (en) Height measurement in a perspective image
Teller et al. Calibrated, registered images of an extended urban area
KR100443552B1 (ko) 가상 현실 구현 시스템 및 방법
JP2013539147A5 (ko)
US20060215935A1 (en) System and architecture for automatic image registration
KR20110068469A (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
CA2582971A1 (en) Computational solution of and building of three dimensional virtual models from aerial photographs
CN112862966B (zh) 地表三维模型构建方法、装置、设备及存储介质
Previtali et al. Rigorous procedure for mapping thermal infrared images on three-dimensional models of building façades
Rodríguez‐Gonzálvez et al. A hybrid approach to create an archaeological visualization system for a Palaeolithic cave
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
Xiong et al. Camera pose determination and 3-D measurement from monocular oblique images with horizontal right angle constraints
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
Wu Photogrammetry: 3-D from imagery
US11776148B1 (en) Multi-view height estimation from satellite images
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Caprioli et al. Experiences in photogrammetric and laser scanner surveing of architectural heritage
Klette et al. On design and applications of cylindrical panoramas
Schreyvogel et al. Dense point cloud generation of urban scenes from nadir RGB images in a remote sensing system
Wang et al. Estimating heights of buildings from geotagged photos for data enrichment on OpenStreetMap
CN117475108A (zh) 一种基于三维重建的像素解析度计算方法
Scheibe Design and test of algorithms for the evaluation of modern sensors in close-range photogrammetry

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal