KR20210008400A - 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법 - Google Patents

촬영을 기반으로 3차원 공간 장면을 재구성하는 방법 Download PDF

Info

Publication number
KR20210008400A
KR20210008400A KR1020207035296A KR20207035296A KR20210008400A KR 20210008400 A KR20210008400 A KR 20210008400A KR 1020207035296 A KR1020207035296 A KR 1020207035296A KR 20207035296 A KR20207035296 A KR 20207035296A KR 20210008400 A KR20210008400 A KR 20210008400A
Authority
KR
South Korea
Prior art keywords
room
plane
wall
photographing
dimensional space
Prior art date
Application number
KR1020207035296A
Other languages
English (en)
Inventor
쇼밍 황
밍 조우
페이 차이
Original Assignee
상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 상 하이 이워 인포메이션 테크놀로지 컴퍼니 리미티드
Publication of KR20210008400A publication Critical patent/KR20210008400A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

본 발명에서는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법을 제공하고, 하기 단계가 포함되는 바, S1: 모든 공간의 사진을 도입하고, 사진을 촬영 시의 방향과 시각에 따라 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치로부터 관찰할 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하며; S2: 룸을 다수의 평면의 집합으로 간주하여, 우선 하나의 평면을 결정하고, 다시 평면 간 상화 관계와 평면 간의 교차선을 통하여 하나씩 모든 평면을 결정하며; S3: 표기 시스템을 통하여 룸 공간 구조를 표기하고 또한 치수 정보를 취득하며; S4: S3에서 수집한 점 좌표 정보를 통하여 룸의 3차원 공간 모델을 구성한다. 본 발명은 장면의 3차원 공간 모델을 환원시킬 수 있고, 아울러 치수 정보와 무늬 정보를 포함하고 또한 세부 사항을 잃지 않을 뿐 아니라, 또한 빠르게 간편하게 3차원 공간 장면에 대하여 편집 수정을 진행할 수 있고, 또한 아울러 치수 정보를 포함하고 또한 뒤틀림이 없는 2차원 평면도를 생성할 수 있다.

Description

촬영을 기반으로 3차원 공간 장면을 재구성하는 방법
본 발명은 3차원 모델링 방법에 관한 것으로서, 특히 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에 관한 것이다.
3차원 공간의 모델링은 근래 빠르게 발전하고 응용되는 한 가지 기술로서, 가상 현실, 주택 인테리어, 실내 디자인 등 분야에서 널리 적용되며, 종래의 3차원 공간 장면 모델링은 일반적으로 하기 방안을 사용한다.
1. 양안 입체 시각(Binocular Stereo Vision) 시스템을 사용한다. 시차 원리를 기반으로 이미징 장치를 이용하여 서로 다를 위치에서 피측정 물체의 두 이미지를 취득하고, 이미지 대응 포인트 간의 위치 편차를 계산하는 것을 통하여 물체 3차원 기하 정보를 취득하는 방법이다. 두 눈이 취득한 이미지를 융합시키고 또한 이들 간의 차별을 관찰하면, 사람들은 선명한 깊이 지각을 취득하고, 특징 간의 대응 관계를 구성하여, 동일한 공간의 물리 포인트의 서로 다른 이미지 중의 맵핑 포인트를 대응시킨다. 해당 방법은 비록 촬영 장치가 간단하지만, 3차원 공간의 재구성에 사용하려면, 촬영하여야 하는 사진 수량이 아주 많고, 아주 많은 시간이 소요되며, 또한 사후에 대량의 시간을 할애하여 모델을 계산하여야 하고, 일단 모델에 문제가 발생하기만 하면, 수선 방법이 또한 아주 번거롭고, 비전문 인력은 조작할 수 없기 때문에, 양안 입체 시각 시스템은 비록 출시된지 여러 해 되었지만 널리 보급할 수 없다.
2. 레이저 포인트 클라우드 기술은 TOF 또는 구조형 광 거리 측정 원리를 이용하여, 물체 표면 각 샘플링 포인트의 공간 좌표를 취득하는 바, 취득하는 것은 목표 공간 분포와 목표 표면 특성을 표현하는 일련의 측정 점의 집합이며, 이 점 집합을 “포인트 클라우드”(Point Cloud)라 칭한다. 포인트 클라우드 속성에는 공간 해상도, 위치 정확도, 표면 법선 벡터 등이 포함된다. 하지만 레이저 포인트 클라우드 기술은 일 방면으로는 사용자들이 추가로 부피가 방대하고 가격이 비싸며 조작이 복잡한 포인트 클라우드 장치를 구매하여야 하고, 다른 일 방면으로는 대량의 데이터가 발생하여 저장과 처리에 불리하며, 여러 그룹의 데이터를 접합시켜야 할 때, 데이터량이 방대하기 때문에, 할애하는 시간이 아주 길고, 효과가 이상적이지 못하다. 그러므로, 포인트 클라우드 기술은 비록 출시된지 여러 해 되었지만 보급에 많은 어려움을 겪고 있다.
이로부터 알 수 있는 바와 같이, 현재 간단하고 사용하기 쉬우며, 원가가 비교적 낮지만 효과가 훌륭한 방법을 개발하여 상기 문제를 해결하여야 한다.
본 발명에서 해결하고자 하는 기술적 과제로는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법을 제공하여, 장면의 3차원 공간 모델을 환원시킬 수 있고, 아울러 무늬 정보와 치수 정보를 포함하고 또한 세부 사항을 잃지 않을 뿐 아니라, 또한 빠르게 간편하게 3차원 공간 장면에 대하여 편집 수정을 진행할 수 있고, 또한 아울러 치수 정보를 포함하고 또한 뒤틀림이 없는 2차원 평면도를 생성할 수 있다.
본 발명이 상기 기술적 과제를 해결하기 위하여 사용한 기술방안은 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법을 제공하는 것으로서, 하기 단계가 포함되는 바, S1: 모든 공간의 사진을 도입하고, 각 공간에 대하여 동일한 촬영 위치에서 촬영한 공간 주요 특징을 포함하는 한 그룹의 사진을 도입하고, 사진을 촬영 시의 방향과 시각에 따라 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치로부터 관찰할 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하며; S2: 룸을 다수의 평면의 집합으로 간주하여, 우선 첫번째 평면을 결정하고, 다시 평면 간 상화 관계와 평면 간의 교차선을 통하여 하나씩 모든 평면을 결정하며; S3: 표기 시스템을 통하여 룸 공간 구조를 표기하고 또한 치수 정보를 취득하며; S4: S3에서 수집한 점 좌표 정보를 통하여 룸의 3차원 공간 모델을 구성한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 S1 단계에는 또한, 각 공간의 사진을 360도 파노라마로 합성하고, 그 후 파노라마를 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치에서 관찰하였을 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하는 것이 포함된다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 S2 단계에서, 첫번째 평면을 결정하는 방법에는, 평면 상의 3개 수직 교차 벽선을 찾는 것을 통하여 하나의 평면을 결정하거나 또는 평면의 4개 벽 코너를 찾는 것을 통하여 하나의 평면을 결정한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 S2 단계에서, 첫번째 평면을 결정하는 방법에는 또한, 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하거나 또는 관련점이 추산한 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하는 것이 포함된다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 S2 단계 전 또한, 사진 상에 수직 교정선을 표기하여, 사진 촬영 시 촬영 장치가 경사져 이미지가 경사진 것을 교정하며; 사진에서 사진 지면에 수직되는 선을 찾아 수직 교정선으로 하거나, 또는 사진의 수평을 찾고, 사진 중의 수평선과 수직되는 선을 그려 수직 교정선으로 하며; 수직 교정선을 참조로 하여, 수진 교정선이 실제 수평선과 수직될 때까지 사진을 회전시키며; 서로 다른 방향의 다수의 수직 교정선을 취득하여 수직 교정을 완성하는 것이 포함된다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 S3 단계에는, S31: 사진을 하나의 고정밀도 구체 내에 넣고, 카메라의 렌즈의 위치를 구체 중앙에 설정하며, 그 후 구체 중심에서 사진 촬영 시각을 환원하며; S32: 구체에 4개 프레임 포인트를 사전 구성하는 바, 각 프레임 포인트에는 상부 점과 하부 점이 포함되고, 프레임 포인트를 드래그하여 각 점이 실제 룸 공간 중의 벽 코너 위치에 대응되도록 하여, 룸의 본체 프레임 구조를 형성하며; 또는 순차적으로 각 하부 벽 코너의 위치를 표기하여 지면 윤곽을 형성하고, 다시 수직의 벽선을 참조하여 대응되는 상부 벽 코너를 찾아 표기하여 전체 룸의 기본 윤곽을 취득하며; S33: 기지의 카메라 촬영 높이를 통하여 룸의 높이를 산출하고, 룸의 윤곽 치수를 추산하며; 또는 기지 길이의 자를 놓는 것을 통하여 평면의 윤관 치수를 포지셔닝하고, 다시 룸의 윤곽 치수를 추산하는 것이 포함된다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, S32 단계에서, 표기하여야 하는 벽 코너가 가리워졌을 때, 만일 벽선을 볼 수 있다면, 수직과 수평이 교차되는 두 개의 벽선의 교차점을 통하여 벽 코너의 위치를 결정하며; 만일 상기 벽의 하부 벽 코너와 벽선이 모두 가리워졌으나, 상부 벽 코너 또는 벽선을 볼 수 있다면, 우선 상부 평면과 상부 벽 코너를 결정하고, 그 후 상부 벽 코너와 하부 벽 코너의 위치에 대하여 등비례 줌을 진행하고 또한 하부 벽 코너의 점이 하부 지면 상에 있도록 확보하여, 벽 코너 위치를 결정한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, S32단계에는 또한, 룸 내 물체에 대하여 표기점을 추가하고 또한 두 표기점을 하나의 표기선으로 구성하여 룸 벽체에 대하여 확장을 진행하고, 또한 룸의 기본 물체 구조를 추가하는 바, 상기 기본 물체에는 문, 개방 공간, 일반 창문, 베이창, 층계가 포함되며; 직사각형이 아닌 룸에 대하여, 요철 벽 구조의 표기점을 추가하여 룸 구조를 확장하고, 요철 벽의 위치와 깊이를 조정하는 것을 통하여 확장된 공간 구조를 결정하며; 임의의 자유 구조의 벽체에 대하여, 자유 표기점을 추가하여 임의로 벽체 구조를 확장하며; 복식 구조에 대하여, 층계와 층계 입구 구조의 표기점을 추가하고 또한 두 층의 층계 입구를 연결하는 것을 통하여 상하층을 연결시켜 층계 구조를 확장하는 것이 포함되며; S33 단계에는 또한, 카메라 렌즈 높이를 이미 알고 있거나 또는 기지 길이의 자를 놓고, 룸 내 물체에 대하여 표기하는 것을 통하여 진실한 세계 중의 치수와 모델 중의 치수의 계산 비례를 취득하며, 그 후 전체 모델에 대하여 등비례 줌을 진행하여 룸 내 물체 진실한 치수를 산출하는 것이 포함된다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 또한 S5 단계가 포함되는 바, 서로 다른 룸 사진 중 문 또는 개방 공간 이미지 정보를 비교하고, 각 룸에 대하여 연결을 진행하는 것을 통하여, 각 룸의 공간 위치 및 방향 정보를 취득하며; 표기한 문 또는 개방 공간을 통하여, 사진 중 문 또는 개방 공간을 투과하는 화면을 비교하고, 서로의 사진 중에서 상호 매칭되는 화면을 취득하여, 같은 문 또는 개방 공간을 찾아내며, 같은 문 또는 개방 공간을 구비하는 룸을 연결시키며; 모든 룸을 상호 연결시킨 후, 연결된 룸의 위치와 방향을 계산하고, 하나의 룸을 선택하여 기연결 룸으로 설정하여, 해당 룸의 문을 순회하여 미연결 룸을 찾아내고, 현재 기연결 룸의 위치와 방향을 통하여, 두 룸을 연결하는 룸 또는 개방 공간의 위치와 방향을 참조하여, 미연결 룸의 위치와 방향을 산출하며, 그 후 미연결 룸을 기연결 룸으로 표기하며; 미연결 룸이 없을 때까지 계속하여 미연결 룸을 찾아내어, 모든 룸의 연결을 완성한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 또한 S6 단계가 포함되는 바, S3에서 수집한 점 좌표 정보를 통하여 사진에 대하여 분할을 진행하여, 룸 무늬 맵을 취득하여 룸 무늬를 취득하며; 우선 각 면을 하나의 다각형으로 설정하고, 정점 정보는 한 그룹의 3차원 좌표이며, 정점 좌표의 경계 직사각형을을 통하여 맵의 크기를 계산하며; 이미지 픽셀을 순회하여 각 픽셀에 대응되는 다각형 상의 공간 좌표점 위치를 취득하며; 모든 픽셀을 순회하여 단일 면 무늬 맵을 완성하며; 순차적으로 룸 모든 면의 무늬 맵을 완성한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 또한 S7 단계를 포함하는 바, S3 단계 중 표기 시스템이 취득한 룸의 모델을 통하여, 높이 정보를 무시하여 단일 룸의 2차원 윤곽을 취득하며; S5 단계에서 취득한 각 룸의 위치 좌표와 방향 정보에 의하여, 각 룸 윤곽의 위치와 방향을 설정하고, 2차원 평면의 생성을 완성한다.
상기 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 그 중에서, 상기 사진의 촬영 장치에는 어안 렌즈가 구비된 핸드폰, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라가 포함된다.
본 발명의 종래의 기술에 비하여 하기 유익한 효과를 가지는 바, 본 발명에서 제공하는 3차원 공간 장면을 재구성하는 방법은, 장면의 3차원 공간 모델을 환원시키고, 아울러 무늬 정보와 치수 정보를 포함하고 또한 세부 사항을 잃지 않으며, 스캔이 불완전하여 모델이 파괴되지 않고, 가구, 내부 장식 등으로 인하여 모델에 대하여 심각한 간섭을 발생하지 않으며; 빠르게 간편하게 3차원 공간 장면에 대하여 편집 수정을 진행할 수 있고, 또한 아울러 치수 정보를 포함하고 또한 뒤틀림이 없는 2차원 평면도를 생성할 수 있으며; 지원하는 촬영 방식이 넓은 바, 어안 렌즈가 구비된 핸드폰, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라가 포함되나 이에 제한되지 않으며, 원가가 저렴하다.
도 1은 본 발명의 실시예 중의 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법의 흐름도.
도 2는 본 발명의 실시예에서 평면을 결정하는 도면.
도 3은 본 발명의 실시예 중의 평면 상의 3개 수직 교차 벽선을 찾아내어 첫번째 평면을 결정하는 도면.
도 4는 본 발명의 실시예 중의 극좌표로부터 직각 좌표의 전환 도면.
도 5는 본 발명의 실시예 중의 평면 4개 벽 코너를 찾아내어 첫번째 평면을 결정하는 도면.
도 6은 본 발명의 실시예 중의 관련점이 추산한 카메라 렌즈의 평면에서의 투영점을 기록하여 첫번째 평면을 결정하는 도면.
도 7은 본 발명의 실시예 중 수직 교정의 도면.
도 8은 본 발명의 실시예 중의 룸 공간 구조를 표기하여 요철 벽 구조를 추가하는 도면.
도 9는 본 발명의 실시예 중의 룸 공간 구조를 표기하여 자유 표기점을 추가하여 임의로 벽체를 확장하는 도면.
도 10a는 본 발명의 실시예 중의 카메라가 벽 코너를 보는 측면도.
도 10b는 본 발명의 실시예 중의 카메라가 벽 코너를 보는 조감도.
도 11은 본 발명의 실시예 중의 지면 상에 기지 길이의 자를 놓아 윤곽 크기를 추산하는 도면.
도 12는 본 발명의 실시예 중의 지면과 일정한 각도를 이루도록 기지 길이의 자를 놓아 윤곽 크기를 추산하는 도면.
본 발명의 상기 목적, 특징과 유익한 효과가 더욱 선명하고 알기 쉽게 하기 위하여, 아래 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 상세한 설명을 진행하도록 한다.
도 1은 본 발명의 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법의 흐름도이다.
도 1을 참조하면, 본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에는 하기 단계가 포함되는 바, S1: 모든 공간의 사진을 도입하고, 각 공간에 대하여 동일한 촬영 위치에서 촬영한 공간 주요 특징을 포함하는 한 그룹의 사진을 도입하고, 사진을 촬영 시의 방향과 시각에 따라 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치로부터 관찰할 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하며; S2: 룸을 다수의 평면의 집합으로 간주하여, 우선 첫번째 평면을 결정하고, 다시 평면 간 상화 관계와 평면 간의 교차선을 통하여 하나씩 모든 평면을 결정하며; S3: 표기 시스템을 통하여 룸 공간 구조를 표기하고 또한 치수 정보를 취득하며; S4: S3에서 수집한 점 좌표 정보를 통하여 룸의 3차원 공간 모델을 구성한다.
바람직하게는, 상기 S1 단계에는 또한, 각 공간의 사진을 360도 파노라마로 합성하고, 그 후 파노라마를 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치에서 관찰하였을 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하는 것이 포함된다.
본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, S2 단계에서, 첫번째 평면을 결정하는 방법에는, 평면 상의 3개 수직 교차 벽선을 찾는 것을 통하여 하나의 평면을 결정하거나 또는 평면의 4개 벽 코너를 찾는 것을 통하여 하나의 평면을 결정한다. 첫번째 평면을 결정하는 방법에는 또한, 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하거나 또는 관련점이 추산한 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하는 것이 포함된다.
사진이 3차원 공간에 대응되는 원칙은 각 픽셀이 촬영 시 방향과 일치하도록 유지하는 것이지만, 한 픽셀로부터 촬영 위치(촬영 시 카메라의 위치)까지의 거리 정보를 제공하지 않는다. 모델링의 기본 원리는 실내 모델을 다수의 평면(지면, 벽면과 천장)의 집합이고, 하부 벽 코너는 3개 평면의 교차점(지면과 두 벽면)이며, 상부 벽 코너는 3개 평면의 교차점(천장과 두 벽면)이고, 벽선은 2개 평면(지면)의 교차선인 것으로 간주하는 것이다. 만일 먼저 하나의 평면의 위치를 포지셔닝하면, 모든 평면을 복원할 때까지, 해당 평면 상의 벽 코너와 선에 의하여 순차적으로 기타 평면을 결정할 수 있다.
도 2를 참조하면, 만일 우선 지면 S1을 결정할 수 있다면, 기지의 벽면 S2와 지면 S1이 수직되는 관계 및 S1과 S2의 교차선(벽선) L1을 통하여 벽면 S2를 결정할 수 있다. 마찬가지 원리로, 계속하여 벽선 L2를 통하여 벽면 S3 및 공간 내 상호 수직되는 모든 벽면의 위치를 결정할 수 있다.
구체적으로 말하면, 방법a(인접 직각법): 지면 상의 3개 수직 교차선을 통하여 평면을 결정하는 바, 인접 직각법의 전제 조건은 실내의 벽면의 다수가 직사각형으로 구성되는 것이다.
도 3을 참조하면, P는 카메라 렌즈 위치이고, P1P2P3 및 P2P3P4이 구성한 각은 모두 직각이며, 그렇다면 P1P2P3P4이 소재하는 평면을 결정할 수 있다. 도3에서 사진에서 하나의 벽을 관찰할 수 있는 바, P1, P2, P3과 P4가 모드 이 벽면 상에 있다. 그 중에서, P2P3은 해당 벽과 지면이 수직되는 변이고, P1P2는 해당 벽과 천장의 교차선이며, P3P4는 해당 벽과 지면의 교차선이다. P1은 벽과 천장 교차선 상의 P2와 다른 하나의 점이고, P4는 벽과 지면 교차선 상의 P3과 다른 하나의 점이다. 관찰점에 대한 4개의 점을 극좌표로(
Figure pct00001
,
Figure pct00002
,
Figure pct00003
)로 표시하며, 반경
Figure pct00004
은 미지수이고, 다른 두 값은 관찰을 통하여 취득할 수 있다.
도 4를 참조하면, 극좌표로부터 직각 좌표의 전환은 하기와 같이 정의된다.
Figure pct00005
=
Figure pct00006
(1)
Figure pct00007
(2)로 정의하면,
점
Figure pct00008
=
Figure pct00009
(3)이고,
Figure pct00010
선분 벡터
Figure pct00011
=
Figure pct00012
(4)로 설정한다.
도 3을 참조하면, P1P2와 P2P3이 수직되기 때문에, 두 선분 벡터의 점곱은 0인 것을 알 수 있으며,
Figure pct00013
(5)
마찬가지 이치로, P3P4와 P2P3이 수직인 것으로부터
Figure pct00014
(6)을 취득할 수 있다.
또한 P1P2와 P3P4가 평행되기 때문에, 두 벡터의 점곱은 두 벡터의 모듈러스의 곱이다.
Figure pct00015
(7)
(5)(6)(7)을 전개하면,
Figure pct00016
(8)
Figure pct00017
(9)
Figure pct00018
(10)을 취득할 수 있다.
3개의 방식식이 있지만, 미지수가 4개이기 때문에, 직접 상기 방정식 그룹읠 풀수 없지만,
Figure pct00019
를 1이라 가정하고, 기타 3개 점의 r과
Figure pct00020
의 비례값을 구할 수 있다. 이렇게 평면과 카메라의 위치를 구한다.
Figure pct00021
을 (8)에 대이하여,
Figure pct00022
(11)을 취득할 수 있다.
Figure pct00023
(12)로 정의하면,
Figure pct00024
(12)를 취득할 수 있다.
마찬가지 이치로,
Figure pct00025
(13)을 취득할 수 있다.
(12)(13)을 (10)에 대입하면,
Figure pct00026
(14)를 취득할 수 있다.
(14)의 양쪽을 동시에 제곱하고 또한
Figure pct00027
를 나누면,
Figure pct00028
(15)을 취득할 수 있다.
이는
Figure pct00029
에 관한 4차 방정식이고, 이 방정식을 풀면
Figure pct00030
의 4개 값을 구할 수 있다.1원4차 방정식의 근을 구하는 공식은 바이두 백과를 참조할 수 있으며, 여기에서는 상세한 설명을 생략하도록 한다. https://baike.baidu.com/item/%E4%B8%80%E5%85%83%E5%9B%9B%E6%AC%A1%E6%96%B9%E7%A8%8B%E6%B1%82%E6%A0%B9%E5%85%AC%E5%BC%8F/10721996?fr=aladdin
4차 방정식은 위키백과를 참조할 수 있으며, 여기에서는 상세한 설명을 생략하도록한다. https://zh.wikipedia.org/wiki/%E5%9B%9B%E6%AC%A1%E6%96%B9%E7%A8%8B
Figure pct00031
의 4개 값에서, 오직 양의 실수만이 의미가 있지만, 다수의 양의 실수 값이 존재할 수 있다.
기타 평면을 결정하는 것도 위에서와 같은 방법을 사용할 수 있다. 각 평면의 다수의 가능성 중에서 정확한 값을 구하기 위하여 하기 방법을 사용하는 바, 인접 직각법을 사용하여 첫번째 평면 S1을 결정하며; 상기 평면의 하나의 양의 실수 값을 사용하여 평면 S1의 위치를 결정할 수 있으며; 하나의 인접 평면 S2를 선택하고, 인접 직각법을 사용하여 해당 평면을 결정하며, 또한 하나의 양의 실수 값을 사용하여 평면 S2의 위치를 결정하며; 전 단계를 반복하여 전부 완성할 때까지 점차적으로 기타 평면의 위치를 결정하며; 만일 어느 한 평면이 양의 실수 값을 찾지 못하거나, 또는 인접된 평면의 교차선이 잘못되었으면, 그 전 평면으로 돌아가 다음 양의 실수 값을 사용하여 앞의 단계를 반복하여, 모든 평면을 결정한다. 모든 평면이 공간에 진실하게 존재하기 때문에, 상기 방법을 통하여 모든 평면의 위치를 결정할 수 있다. 위에서는 각 평면이 모두 두 개의 인접된 직각을 찾을 수 있다고 가정한다. 만일 일부의 평면이 2개의 인접된 직각의 조건을 만족시키지 못하면, 이미 위치를 결정한 인접된 평면 및 해당 인접된 평면의 교차선을 통하여 결정할 수 있다. 도2에 도시된 바와 같이, S2가 S1에 수직된다고 가정하면, S2는 S1의 위치 및 S1과 S2의 교차선 L1에 의하여 유일하게 결정할 수 있다.
구체적으로 말하면, 방법b(직사각형법): 하나의 벽면이 직사각형이라고 가정하고, 평면의 4개 벽 코너를 찾아내어 하나의 평면을 결정한다. 룸에서, 대부분 벽면은 직사각형이기 때문에, 자연스럽게 직사각형의 4개 정점을 사용하여 벽면의 위치를 결정한다. 직사각형법은 인접 직각법의 특례이다.
도 5를 참조하면, 직사각형법에서, 선분 P1P4는 반드시 선분 P2P3과 평행되어야 하지만, 인접 직각법에서, P1은 P1P2가 소재하는 직선 상의 어느 한 점이며; 마찬가지로, P4도 소재하는 직선 상의 어느 한 점일 수 있고, 직사각형법의 답을 구하는 방식은 인접 직각법과 유사하며, 여기에서는 상세한 설명을 생략하도록 한다.
구체적으로 말하면, 방법c(투영법): 카메라로부터 평면까지의 투영을 통하여 평면을 결정한다. 만일 촬영 시, 카메라 렌즈로부터 어느 평면까지의 투영이 기록된다면, 이에 의하여 유일하게 해당 평면의 위치를 결정할 수 있다(카메라로부터 해당 평면까지의 거리를 이미 알고 있거나 또는 가정함).
도 2에 도시된 바와 같이, 카메라 위치와 투영의 연결선이 지면 S1에 수직된다. 카메라의 높이를 이미 알고 있거나 가정하면, 지면 위치를 결정할 수 있다. 실제 조작에서, 투영점을 취득/기록하는 방법에는, 카메라를 삼각대 또는 받침대에 놓고 촬영하고, 삼각대/받침대가 지면과 수직되는 것이다. 삼각대/받침대가 지면 상에 떨어지는 중심점이 바로 투영점이다. 또는 삼각대/받침대를 수직으로 벽면에 지탱하는 바, 삼각대/받침대가 면면 상에 떨어지는 중심점이 바로 투영점이며; 또는 투영점 상에 표기를 한다. 기타 평면을 결정할 때, 투영법을 사용하여 첫번째 편면 S1을 결정하고, 하나의 인접 평면 S2를 선택하며, S2가 S1에 수직된다고 가정하면, 2는 S1의 위치 및 S1과 S2의 교차선 L1에 의하여 유일하게 결정할 수 있으며, 동일한 방법을 사용하여 순차적으로 모든 평면을 결정한다. 실제 조작에서, 거의 모든 벽면이 모두 지면 또는 천장과 수직되기 때문에, 만일 첫번째 평면이 벽면이라면, 상기 단계에서 지면 또는 천장을 선택하여 첫번째 인접된 평면으로 하고, 그 후 다시 순차적으로 모든 벽면을 결정한다.
구체적으로 말하면, 방법d(경사각 투영법): 관련점이 추산한 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정한다. 해당 방법은 투영법과 유사하고, 차별점이라면 기록하는 것이 투영점이 아니지만, 기록한 점을 통하여 투영점의 위치를 추산할 수 있다. 방법에는, 삼각대/받침대를 지면에 놓지만(베이스가 지면에 붙음), 지면에 수직되지 않으며; 삼각대/받침대가 벽면에 지탱하지만(베이스가 벽면에 붙음), 벽면에 수직되지 않는다. 삼각대/받침대가 평면에 수직되지 않을 때, 평면 상에서의 투영은 하나의 선분이다.
도 6을 참조하면, P는 카메라 렌즈 위치이고, P1은 카메라 프레임 베이스 중심점이며, P2는 평면 상의 투영점이고, 프레임 P1P3의 평면 상에서의 투영선은 P1P2이다. 만일 투영선의 베이스에 대한 방향(렌즈 방향과 베이스의 상대적 관계, 또는 베이스 상 프레임과 위치가 고정적이고 또한 관계를 사전에 알고 있는 표기에 의하여 결정) P1P2를 이미 알고 있다면, 기지의 프레임의 경사각 P3P1P2 및 기지의 프레임의 높이 또는 하나의 가정된 높이에 의하여, 투영점 P2의 위치를 산출할 수 있고, 투영점 P2로부터 투영법을 사용하여 모든 평면을 결정할 수 있다.
바람직하게는, S2 단계를 진행하기 전 또한, 사진 상에 수직 교정선을 표기하여, 사진 촬영 시 촬영 장치가 경사져 이미지가 경사진 것을 교정하며; 사진에서 사진 지면에 수직되는 선을 찾아 수직 교정선으로 하거나, 또는 사진의 수평을 찾고, 사진 중의 수평선과 수직되는 선을 그려 수직 교정선으로 하며; 수직 교정선을 참조로 하여, 수진 교정선이 실제 수평선과 수직될 때까지 사진을 회전시키며; 서로 다른 방향의 다수의 수직 교정선을 취득하여 수직 교정을 완성하는 것이 포함된다.
도 7을 참조하면, 수직 교정 시, 찾아낸 선분의 두 단점(수평선을 통하여 전환된 수평 선분 포함)을 구면 상에 투영시켜 P1, P2를 취득하고, 카메라가 경사졌기 때문에, 구심 O와 P1, P2로 구성된 평면과 수평면 H의 협각은 직각이 아니며; P1P2의 중점 P를 취하여, P를 H 사에 투영시켜 P’를 취득하며, 구심 O와 P’의 연결선을 축으로, 평면 OP1P2와 평면 H가 수직될 때까지 사진을 회전시킨다.
본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, S3 단계에는, S31: 사진을 하나의 고정밀도 구체 내에 넣고, 카메라의 렌즈의 위치를 구체 중앙에 설정하며, 그 후 구체 중심에서 사진 촬영 시각을 환원하며; S32: 구체에 4개 프레임 포인트를 사전 구성하는 바, 각 프레임 포인트에는 상부 점과 하부 점이 포함되고, 프레임 포인트를 드래그하여 각 점이 실제 룸 공간 중의 벽 코너 위치에 대응되도록 하여, 룸의 본체 프레임 구조를 형성하며; 또는 순차적으로 각 하부 벽 코너의 위치를 표기하여 지면 윤곽을 형성하고, 다시 수직의 벽선을 참조하여 대응되는 상부 벽 코너를 찾아 표기하여 전체 룸의 기본 윤곽을 취득하며; S33: 기지의 카메라 촬영 높이를 통하여 룸의 높이를 산출하고, 룸의 윤곽 치수를 추산하며; 또는 기지 길이의 자를 놓는 것을 통하여 평면의 윤관 치수를 포지셔닝하고, 다시 룸의 윤곽 치수를 추산하는 것이 포함된다.
구체적인 실시예에서, S32 단계는 여러 가지 방식을 사용하여 룸 공간 구조 및 물체를 표기할 수 있으며, 그 중 한 가지 표기 방식(프레임법)의 단계는 하기와 같다.
도 8과 도 9를 참조하면, 장면 내에 사전 구성된 S1 상에 구성된 4개 프레임 포인트(P1, P2, P3과 P4)가 하나의 직사각형을 구성하고, 직사각형의 길이와 너비를 개변시킬 수 있지만, 반드시 직사각형 관계를 유지하여야 한다. 각 프레임 포인트는 각각 하나의 상부 프레임 포인트(P1a, P2a, P3a와 P4a)에 대응되고, 각 쌍의 상하 프레임 포인트의 연결선(예를 들면 P1P1a)은 평면 S1에 수직된다. 각 하부 프레임 포인트를 공간 중의 벽 코너 위치로 이동한다. 룸 형상이 규칙적인 정육면체일 때, 상하 8개 프레임 포인트는 정육면체의 모든 평면을 완전하게 기술하여 공간 모델링을 완성한다.
정육면체가 아닌 룸에 대하여, 요철 벽 구조의 4개 표기점을 추가하는 것을 통하여 빠르게 룸 구조를 확장할 수 있는 바, 도8에 도시된 P5, P6, P7과 P8일 수 있고, 요철 벽의 위치와 깊이를 조정하는 것을 통하여 확장된 공간 구조를 결정한다. 다수의 벽체의 요철 구조가 여전히 직사각형 또는 직각 관계를 이루기 때문에(예를 들면, 도8에서 P5P6과 P2P5가 수직되고, P6P7이 각각 P5P6 및 P7P8과 수직되며, P7P8과 P8P3이 수직됨), 이 방법은 효과적으로 모델링을 진행할 수 있다.
임의의 자유 구조의 벽체에 대하여, 자유 표기점을 추가하는 것을 통하여 임의로 벽체 구조를 확장할 수 있다. 도9에 도시된 바와 같이, P7은 평면 S1의 어느 한 점일 수 있고, P5P7과 P2P5는 수직되지 않을 수 있으며, P5P7과 P7P8이 수직되지 않을 수 있고, P7P8과 P8P3이 수직되지 않을 수 있다.
벽 코너가 물체에 가리워진 상황에 있어서, 일반적으로 벽선이 노출되어 참조물로 하고, 프레임 포인트와 프레임 포인트 간의 연결선을 통하여 벽선의 위치를 결정할 수 있으며, 하나의 벽 코너에 있어서, 해당 벽 코너의 수직 벽선과 수평 벽선을 결정하면, 해당 벽 코너의 위치를 확인할 수 있다. 도8에와 같이, 만일 P4가 가리워졌지만, P1P4와 P3P4의 일부를 볼 수 있다면, 여전히 두 선의 교차점을 통하여 P4의 위치를 취득할 수 있다.
두 표기점 간에 하나의 표기선을 구성하고, 표기선을 클릭하는 것을 통하여 룸 벽체에 대하여 확장을 진행하고, 또한 여러 가지 유형의 룸의 기본 물체 구조, 예를 들면 문, 개방 공간, 일반 창문, 베이창, 층계를 추가한다. 또한 박면 상에 기본 물체 구조를 추가할 수 있다.
복식 구조에 대하여, 층계와 층계 입구 구조를 추가하고 또한 두 층의 층계 입구를 연결하는 것을 통하여 상하층을 연결시킬 수 있으며, 다수의 층을 이렇게 유추하여 확장할 수 있다.
상기 표기 단계를 거쳐, 표기점을 기반으로 하는 한 세트의 데이터 구조를 취득할 수 있는 바, 해당 표기점 구조는 룸 벽체 구조 및 주요 룸 물체(예를 들면 문, 도어 오프닝, 개방 공간, 반 창문, 베이창, 층계)의 공간 정보를 기록하고, 또한 텍스트 형식으로 로컬에 저장된다.
구체적 실시에서, S32 단계는 또한 어느 한 평면 상에서 각 벽 코너의 위치를 표기하는 것을 통하여 해당 평면의 윤곽을 형성하고, 기타 평면은 벽선과 벽 코너를 통하여 모든 평면이 형성한 룸 윤곽을 표기할 때까지(하나씩 벽 코너 표기법) 점차적으로 확인한다. 우선 지면을 표기하는 것을 예로 들면, 구체적은 단계는 하기와 같다.
순차적으로 도면 중에서 각 벽 코너의 위치를 표기하여, 이로 하여금 하나의 완전한 지면 윤곽을 형성하도록 한다. 지면이 이미 각 벽면의 하부 벽 코너 정보를 제공하였고, 또한 천장 평면 윤곽이 일반적으로 지면 윤곽과 같기 때문에, 또한 수직인 벽선을 참조하면, 단지 룸 높이를 확인하기만 하면 룸 윤곽을 환원할 수 있다. 그 중의 한 하부 코너를 선택하고, 그에 대응되는 상부 벽 코너를 찾아내며, 상부 벽 코너의 위치를 표기하여 룸 높이를 취득하여, 최종적으로 전체 룸의 기본 윤곽을 취득한다. 도8에 도시된 바와 같이, 평면 S1 상에 P1, P2, P3, P4, P5, P6, P7과 P8을 표기하면, S1의 윤곽을 기술할 수 있다. 그 후 각 점에서 S1과의 수직선을 인출하여, 계속하여 S2, S3 및 기타 평면을 취득한다.
구체적인 실시예에서, S33 단계에서 치수를 결정하는 방법1: 기지의 카메라 촬영 높이를 통하여 룸의 높이를 산출하고, 룸의 윤곽 치수를 추산하며;
도 10a와 도 10b를 참조하면, 벽 코너 위치와 룸 높이의 기본 계산 방법은 하기와 같다.
벽 코너의 위치: 카메라의 높이 h1 및 카메라가 벽 코너 P1을 향한 피칭각 φ1을 이미 알고 있기 때문에, d = tanφ1 * h1이고, 카메라의 하부 벽 코너를 향한 방향각 θ를 알고 있기 때문에, 상면도를 통하여 벽 코너 P1 좌표 (x, y, z) = (d * sinθ, -h1, d * cosθ)를 산출한다.
룸 높이: 카메라의 상부 벽 코너를 향한 피칭각 φ2, 카메라 높이 h1을 알고 있고, 상부 벽 코너 P2와 하부 벽 코너 P1이 동일한 수직선 상에 위치하기 때문에, h2 = d / tan(180 - φ2), 룸 높이 h = h1 + h2이다.
구체적인 실시에서, S33 단계에서 치수를 결정하는 방법2: 기지 길이의 자를 놓는 것을 통하여, 어느 한 평면(지면/벽면)의 윤곽 치수를 포지셔닝하고, 다시 이로써 기타 평면의 윤곽 치수를 추산한다.
도 11을 참조하면, 지면 상에 자를 놓고, 기지의 자 길이에 의하여 카메라 높이(지면까지의 거리)를 계산할 수 있으며, 그 후는 방법1과 같다. 카메라 높이는 미지이고, 카메라 높이를 h로 가정하고, 지면 상의 자 R의 기지의 진실한 길이가 Lr이며, 좌표계에서 측정한 길이가 Lr’이고, 또한 h, Lr’이 동일한 좌표계 내에 있으며, 단위가 같으면, 카메라의 진실한 높이 h’= Lr / Lr’ * h이다. 또한 어느 벽면에 밀착되게 자를 놓으며, 카메라로부터 벽면까지의 거리를 계산하고, 다시 하부 벽 코너에 의하여 지면 위치를 결정하며, 그 후는 방법1과 동일하며; 도11에 도시된 바와 같이, 자 R을 벽면 s2 상에 놓는 바, 이의 공통점이라면, 포지셔닝한 첫번째 평면의 상대적 크기(크기는 사전에 설정한 임의의 기본 양의 값)를 안 후, 자가 해당 평면 상에 있기 때문에, 자가 조표계에서 측정하여 취득한 길이 Lr’와 자가 진실한 세계에서의 실제 길이 Lr를 통하여, 비례 즉 비례 r=Lr / Lr’를 계산하여, 좌표계에서 단위 길이에 대응되는 진실한 세계에서의 길이를 표시할 수 있으며, 만일 해당 평면 중 어느 한 변의 좌표계에서의 길이가 L’라면, 진실한 길이 L = L’ * r이기 때문에, 좌표계 중 모든 변의 진실한 길이를 알 수 있다.
도 12를 참조하면, 자는 반드시 지면 또는 벽면에 밀착되어야 하는 것이 아니다. 어느 한 평면과 고정적인 각도를 형성하기만 하면, 또한 삼각함수를 통하여 평면 투영의 길이를 계산하여, 이로써 다시 해당 평면의 위치를 결정할 수 있다. 지면을 예로 들면, 자는 Pr1Pr2이고, Pr1Pr2의 진신한 길이를 알고 있고, 또한 자와 평면의 고정 협각 θ, 즉 ∠Pr1인 것을 알고 있으면, 우선 θ각 및 자의 지면에서의 투영에 의하여 Pr1Pr2’의 진실한 길이가 Lr인 것을 결정하며; 좌표계에서 투영을 측정하는 것을 통하여 Pr1Pr2’의 길이는 Lr’이고, 그 후의 계산의 상기 방법1과 같고, 비례 r = Lr / Lr’를 통하여 기타 모든 변의 진실한 길이를 결정한다.
구체적으로 말하면, S32 단계에서, 표기하여야 하는 벽 코너가 가리워졌을 때, 만일 벽선을 볼 수 있다면, 수직과 수평이 교차되는 두 개의 벽선의 교차점을 통하여 벽 코너의 위치를 결정하며; 만일 상기 벽의 하부 벽 코너와 벽선이 모두 가리워졌으나, 상부 벽 코너 또는 벽선을 볼 수 있다면, 우선 상부 평면과 상부 벽 코너를 결정하고, 그 후 상부 벽 코너와 하부 벽 코너의 위치에 대하여 등비례 줌을 진행하고 또한 하부 벽 코너의 점이 하부 지면 상에 있도록 확보하여, 벽 코너 위치를 결정한다.
본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 또한 S5 단계가 포함되는 바, 서로 다른 룸 사진 중 문 또는 개방 공간 이미지 정보를 비교하고, 각 룸에 대하여 연결을 진행하는 것을 통하여, 각 룸의 공간 위치 및 방향 정보를 취득하며; 표기한 문 또는 개방 공간을 통하여, 사진 중 문 또는 개방 공간을 투과하는 화면을 비교하고, 서로의 사진 중에서 상호 매칭되는 화면을 취득하여, 같은 문 또는 개방 공간을 찾아내며, 같은 문 또는 개방 공간을 구비하는 룸을 연결시키며; 모든 룸을 상호 연결시킨 후, 연결된 룸의 위치와 방향을 계산하고, 하나의 룸을 선택하여 기연결 룸으로 설정하여, 해당 룸의 문을 순회하여 미연결 룸을 찾아내고, 현재 기연결 룸의 위치와 방향을 통하여, 두 룸을 연결하는 룸 또는 개방 공간의 위치와 방향을 참조하여, 미연결 룸의 위치와 방향을 산출하며, 그 후 미연결 룸을 기연결 룸으로 표기하며; 미연결 룸이 없을 때까지 계속하여 미연결 룸을 찾아내어, 모든 룸의 연결을 완성한다.
본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 또한 S6 단계가 포함되는 바, S3에서 수집한 점 좌표 정보를 통하여 사진에 대하여 분할을 진행하여, 룸 무늬 맵을 취득하여 룸 무늬를 취득하며; 우선 각 면을 하나의 다각형으로 설정하고, 정점 정보는 한 그룹의 3차원 좌표이며, 정점 좌표의 경계 직사각형을을 통하여 맵의 크기를 계산하며; 이미지 픽셀을 순회하여 각 픽셀에 대응되는 다각형 상의 공간 좌표점 위치를 취득하며; 모든 픽셀을 순회하여 단일 면 무늬 맵을 완성하며; 순차적으로 룸 모든 면의 무늬 맵을 완성한다.
본 발명에서 제공하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에서, 또한 S7 단계를 포함하는 바, S3 단계 중 표기 시스템이 취득한 룸의 모델을 통하여, 높이 정보를 무시하여 단일 룸의 2차원 윤곽을 취득하며; S5 단계에서 취득한 각 룸의 위치 좌표와 방향 정보에 의하여, 각 룸 윤곽의 위치와 방향을 설정하고, 2차원 평면의 생성을 완성한다.
구체적으로 말하면, 상기 사진의 촬영 장치에는 어안 렌즈가 구비된 핸드폰, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라가 포함된다.
요약하면, 본 발명에서 제공하는 3차원 공간 장면을 재구성하는 방법은, 장면의 3차원 공간 모델을 환원시키고, 아울러 무늬 정보와 치수 정보를 포함하고 또한 세부 사항을 잃지 않으며, 스캔이 불완전하여 모델이 파괴되지 않고, 가구, 내부 장식 등으로 인하여 모델에 대하여 심각한 간섭을 발생하지 않으며; 빠르게 간편하게 3차원 공간 장면에 대하여 편집 수정을 진행할 수 있고, 또한 아울러 치수 정보를 포함하고 또한 뒤틀림이 없는 2차원 평면도를 생성할 수 있으며; 지원하는 촬영 방식이 넓은 바, 어안 렌즈가 구비된 핸드폰, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라가 포함되나 이에 제한되지 않으며, 원가가 저렴하다.
이상에서는 본 발명을 특정의 실시예에 대해서 도시하고 설명하였지만, 본 발명은 상술한 실시예만 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 본 발명의 기술적 사상의 요지를 벗어나지 않는 범위에서 얼마든지 다양하게 변경하여 실시할 수 있을 것이다.

Claims (12)

  1. 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법에 있어서,
    S1: 모든 공간의 사진을 도입하고, 각 공간에 대하여 동일한 촬영 위치에서 촬영한 공간 주요 특징을 포함하는 한 그룹의 사진을 도입하고, 사진을 촬영 시의 방향과 시각에 따라 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치로부터 관찰할 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하며;
    S2: 룸을 다수의 평면의 집합으로 간주하여, 우선 첫번째 평면을 결정하고, 다시 평면 간 상화 관계와 평면 간의 교차선을 통하여 하나씩 모든 평면을 결정하며;
    S3: 표기 시스템을 통하여 룸 공간 구조를 표기하고 또한 치수 정보를 취득하며;
    S4: S3에서 수집한 점 좌표 정보를 통하여 룸의 3차원 공간 모델을 구성하는 단계가 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  2. 제1항에 있어서,
    상기 S1 단계에는 또한, 각 공간의 사진을 360도 파노라마로 합성하고, 그 후 파노라마를 3차원 공간에 대응시켜, 3차원 공간의 카메라 위치에서 관찰하였을 때, 각 픽셀의 관찰 방향이 촬영 시와 일치하도록 하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  3. 제1항에 있어서,
    상기 S2 단계에서, 첫번째 평면을 결정하는 방법에는, 평면 상의 3개 수직 교차 벽선을 찾는 것을 통하여 하나의 평면을 결정하거나 또는 평면의 4개 벽 코너를 찾는 것을 통하여 하나의 평면을 결정하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  4. 제1항에 있어서,
    상기 S2 단계에서, 첫번째 평면을 결정하는 방법에는 또한, 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하거나 또는 관련점이 추산한 카메라 렌즈의 평면에서의 투영점을 기록하는 것을 통하여 평면의 위치를 결정하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  5. 제1항에 있어서,
    상기 S2 단계 전 또한, 사진 상에 수직 교정선을 표기하여, 사진 촬영 시 촬영 장치가 경사져 이미지가 경사진 것을 교정하며; 사진에서 사진 지면에 수직되는 선을 찾아 수직 교정선으로 하거나, 또는 사진의 수평을 찾고, 사진 중의 수평선과 수직되는 선을 그려 수직 교정선으로 하며; 수직 교정선을 참조로 하여, 수진 교정선이 실제 수평선과 수직될 때까지 사진을 회전시키며; 서로 다른 방향의 다수의 수직 교정선을 취득하여 수직 교정을 완성하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  6. 제1항에 있어서,
    상기 S3 단계에는,
    S31: 사진을 하나의 고정밀도 구체 내에 넣고, 카메라의 렌즈의 위치를 구체 중앙에 설정하며, 그 후 구체 중심에서 사진 촬영 시각을 환원하며;
    S32: 구체에 4개 프레임 포인트를 사전 구성하는 바, 각 프레임 포인트에는 상부 점과 하부 점이 포함되고, 프레임 포인트를 드래그하여 각 점이 실제 룸 공간 중의 벽 코너 위치에 대응되도록 하여, 룸의 본체 프레임 구조를 형성하며; 또는 순차적으로 각 하부 벽 코너의 위치를 표기하여 지면 윤곽을 형성하고, 다시 수직의 벽선을 참조하여 대응되는 상부 벽 코너를 찾아 표기하여 전체 룸의 기본 윤곽을 취득하며;
    S33: 기지의 카메라 촬영 높이를 통하여 룸의 높이를 산출하고, 룸의 윤곽 치수를 추산하며; 또는 기지 길이의 자를 놓는 것을 통하여 평면의 윤관 치수를 포지셔닝하고, 다시 룸의 윤곽 치수를 추산하는 단계가 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  7. 제6항에 있어서,
    S32 단계에서, 표기하여야 하는 벽 코너가 가리워졌을 때, 만일 벽선을 볼 수 있다면, 수직과 수평이 교차되는 두 개의 벽선의 교차점을 통하여 벽 코너의 위치를 결정하며; 만일 상기 벽의 하부 벽 코너와 벽선이 모두 가리워졌으나, 상부 벽 코너 또는 벽선을 볼 수 있다면, 우선 상부 평면과 상부 벽 코너를 결정하고, 그 후 상부 벽 코너와 하부 벽 코너의 위치에 대하여 등비례 줌을 진행하고 또한 하부 벽 코너의 점이 하부 지면 상에 있도록 확보하여, 벽 코너 위치를 결정하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  8. 제6항에 있어서,
    S32 단계에는 또한, 룸 내 물체에 대하여 표기점을 추가하고 또한 두 표기점을 하나의 표기선으로 구성하여 룸 벽체에 대하여 확장을 진행하고, 또한 룸의 기본 물체 구조를 추가하는 바, 상기 기본 물체에는 문, 개방 공간, 일반 창문, 베이창, 층계가 포함되며; 직사각형이 아닌 룸에 대하여, 요철 벽 구조의 표기점을 추가하여 룸 구조를 확장하고, 요철 벽의 위치와 깊이를 조정하는 것을 통하여 확장된 공간 구조를 결정하며; 임의의 자유 구조의 벽체에 대하여, 자유 표기점을 추가하여 임의로 벽체 구조를 확장하며; 복식 구조에 대하여, 층계와 층계 입구 구조의 표기점을 추가하고 또한 두 층의 층계 입구를 연결하는 것을 통하여 상하층을 연결시켜 층계 구조를 확장하는 것이 포함되며; S33 단계에는 또한, 카메라 렌즈 높이를 이미 알고 있거나 또는 기지 길이의 자를 놓고, 룸 내 물체에 대하여 표기하는 것을 통하여 진실한 세계 중의 치수와 모델 중의 치수의 계산 비례를 취득하며, 그 후 전체 모델에 대하여 등비례 줌을 진행하여 룸 내 물체 진실한 치수를 산출하는 것이 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  9. 제8항에 있어서,
    또한 서로 다른 룸 사진 중 문 또는 개방 공간 이미지 정보를 비교하고, 각 룸에 대하여 연결을 진행하는 것을 통하여, 각 룸의 공간 위치 및 방향 정보를 취득하며; 표기한 문 또는 개방 공간을 통하여, 사진 중 문 또는 개방 공간을 투과하는 화면을 비교하고, 서로의 사진 중에서 상호 매칭되는 화면을 취득하여, 같은 문 또는 개방 공간을 찾아내며, 같은 문 또는 개방 공간을 구비하는 룸을 연결시키며; 모든 룸을 상호 연결시킨 후, 연결된 룸의 위치와 방향을 계산하고, 하나의 룸을 선택하여 기연결 룸으로 설정하여, 해당 룸의 문을 순회하여 미연결 룸을 찾아내고, 현재 기연결 룸의 위치와 방향을 통하여, 두 룸을 연결하는 룸 또는 개방 공간의 위치와 방향을 참조하여, 미연결 룸의 위치와 방향을 산출하며, 그 후 미연결 룸을 기연결 룸으로 표기하며; 미연결 룸이 없을 때까지 계속하여 미연결 룸을 찾아내어, 모든 룸의 연결을 완성하는 S5 단계를 포함하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  10. 제1항에 있어서,
    또한 S3에서 수집한 점 좌표 정보를 통하여 사진에 대하여 분할을 진행하여, 룸 무늬 맵을 취득하여 룸 무늬를 취득하며; 우선 각 면을 하나의 다각형으로 설정하고, 정점 정보는 한 그룹의 3차원 좌표이며, 정점 좌표의 경계 직사각형을을 통하여 맵의 크기를 계산하며; 이미지 픽셀을 순회하여 각 픽셀에 대응되는 다각형 상의 공간 좌표점 위치를 취득하며; 모든 픽셀을 순회하여 단일 면 무늬 맵을 완성하며; 순차적으로 룸 모든 면의 무늬 맵을 완성하는 S6 단계를 포함하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  11. 제9항에 있어서,
    또한 S3 단계 중 표기 시스템이 취득한 룸의 모델을 통하여, 높이 정보를 무시하여 단일 룸의 2차원 윤곽을 취득하며; S5 단계에서 취득한 각 룸의 위치 좌표와 방향 정보에 의하여, 각 룸 윤곽의 위치와 방향을 설정하고, 2차원 평면의 생성을 완성하는 S7 단계를 포함하는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
  12. 제1항에 있어서,
    상기 사진의 촬영 장치에는 어안 렌즈가 구비된 핸드폰, 파노라마 카메라, 어안 렌즈가 구비된 카메라, 일반 핸드폰과 일반 디지털 카메라가 포함되는 것을 특징으로 하는 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법.
KR1020207035296A 2018-07-03 2018-10-30 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법 KR20210008400A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810717163.XA CN108961395B (zh) 2018-07-03 2018-07-03 一种基于拍照重建三维空间场景的方法
CN201810717163.X 2018-07-03
PCT/CN2018/112554 WO2020006941A1 (zh) 2018-07-03 2018-10-30 一种基于拍照重建三维空间场景的方法

Publications (1)

Publication Number Publication Date
KR20210008400A true KR20210008400A (ko) 2021-01-21

Family

ID=64485147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207035296A KR20210008400A (ko) 2018-07-03 2018-10-30 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법

Country Status (7)

Country Link
US (1) US11200734B2 (ko)
JP (1) JP7162933B2 (ko)
KR (1) KR20210008400A (ko)
CN (2) CN108961395B (ko)
CA (1) CA3103844C (ko)
GB (1) GB2588030B (ko)
WO (1) WO2020006941A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168509A (zh) * 2018-11-15 2021-07-23 高通股份有限公司 通过球体回归的n-球体上的坐标估计
CN109698951B (zh) * 2018-12-13 2021-08-24 歌尔光学科技有限公司 立体图像重现方法、装置、设备和存储介质
CN110490967B (zh) * 2019-04-12 2020-07-17 北京城市网邻信息技术有限公司 图像处理和对象建模方法与设备、图像处理装置及介质
CN110675314B (zh) * 2019-04-12 2020-08-21 北京城市网邻信息技术有限公司 图像处理和三维对象建模方法与设备、图像处理装置及介质
WO2020207512A1 (zh) * 2019-04-12 2020-10-15 北京城市网邻信息技术有限公司 三维对象建模方法、图像处理方法、图像处理装置
CN110209864B (zh) * 2019-05-22 2023-10-27 刘鹏 三维立体模型测量改尺标注重新建模的网络平台系统
CN110209001A (zh) * 2019-06-04 2019-09-06 上海亦我信息技术有限公司 一种用于3d建模的三脚支架及相机拍摄姿态识别方法
US11508141B2 (en) * 2019-07-03 2022-11-22 Magic Leap, Inc. Simple environment solver using planar extraction
CN110633628B (zh) * 2019-08-02 2022-05-06 杭州电子科技大学 基于人工神经网络的rgb图像场景三维模型重建方法
JP7223449B2 (ja) * 2019-08-23 2023-02-16 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステム
CN110505463A (zh) * 2019-08-23 2019-11-26 上海亦我信息技术有限公司 基于拍照的实时自动3d建模方法
CN111210028B (zh) * 2019-12-05 2022-12-02 万翼科技有限公司 房间模型核查方法、装置、计算机设备和存储介质
CN111079619B (zh) * 2019-12-10 2023-04-18 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN111223177B (zh) * 2019-12-18 2020-12-04 北京城市网邻信息技术有限公司 三维空间的三维模型的构建方法和装置、存储介质
CN113240769B (zh) * 2019-12-18 2022-05-10 北京城市网邻信息技术有限公司 空间链接关系识别方法及装置、存储介质
CN111127655B (zh) * 2019-12-18 2021-10-12 北京城市网邻信息技术有限公司 房屋户型图的构建方法及构建装置、存储介质
CN111207672B (zh) * 2019-12-31 2021-08-17 上海简家信息技术有限公司 一种ar量房方法
CN111433809B (zh) * 2020-01-17 2021-08-27 上海亦我信息技术有限公司 行进路线及空间模型生成方法、装置、系统
CN111325662A (zh) * 2020-02-21 2020-06-23 广州引力波信息科技有限公司 一种基于球面投影全景图生成3d空间户型模型的方法
CN111508067B (zh) * 2020-04-15 2024-01-30 中国人民解放军国防科技大学 一种基于垂直平面和垂直线的轻量级室内建模方法
CN111210512B (zh) * 2020-04-17 2020-07-21 中联重科股份有限公司 物体的三维抽象模型建立方法、装置、存储介质和处理器
CN111583417B (zh) * 2020-05-12 2022-05-03 北京航空航天大学 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN111830966B (zh) * 2020-06-04 2023-12-19 深圳市无限动力发展有限公司 角落识别和清扫方法、装置及存储介质
CN111698424A (zh) * 2020-06-22 2020-09-22 四川易热科技有限公司 一种通过普通相机补全实景漫游3d信息的方法
CN111859510A (zh) * 2020-07-28 2020-10-30 苏州金螳螂三维软件有限公司 房间快速换装方法、智能终端
CN112055192B (zh) * 2020-08-04 2022-10-11 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN111951388A (zh) * 2020-08-14 2020-11-17 广东申义实业投资有限公司 室内装修设计用图像拍摄处理装置及图像拍摄处理方法
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN112365569A (zh) * 2020-10-22 2021-02-12 北京五八信息技术有限公司 房源三维场景的展示方法、装置、电子设备和存储介质
CN112493228B (zh) * 2020-10-28 2021-12-14 河海大学 一种基于三维信息估算的激光驱鸟方法及系统
CN112270758B (zh) * 2020-10-29 2022-10-14 山东科技大学 一种基于天花板点云分割的建筑物房间轮廓线提取方法
CN112233229B (zh) * 2020-10-29 2023-07-28 字节跳动有限公司 地标数据的采集方法及地标建筑的建模方法
CN117893689A (zh) * 2020-11-18 2024-04-16 李刚 影像的虚拟空间建立方法及系统
CN114549631A (zh) * 2020-11-26 2022-05-27 株式会社理光 图像处理方法、装置以及存储介质
CN112683221B (zh) * 2020-12-21 2022-05-17 深圳集智数字科技有限公司 一种建筑检测方法和相关装置
KR102321704B1 (ko) * 2020-12-29 2021-11-05 고려대학교 산학협력단 인접 평면 정보를 이용한 3차원 공간 모델 생성 방법 및 장치
CN112950759B (zh) * 2021-01-28 2022-12-06 贝壳找房(北京)科技有限公司 基于房屋全景图的三维房屋模型构建方法及装置
TWI784754B (zh) * 2021-04-16 2022-11-21 威盛電子股份有限公司 電子裝置以及物件偵測方法
CN113324473B (zh) * 2021-04-30 2023-09-15 螳螂慧视科技有限公司 房屋测量方法与测量设备
US11670045B2 (en) * 2021-05-07 2023-06-06 Tencent America LLC Method and apparatus for constructing a 3D geometry
CN113379901A (zh) * 2021-06-23 2021-09-10 武汉大学 利用大众自拍全景数据建立房屋实景三维的方法及系统
CN113487723B (zh) * 2021-06-23 2023-04-18 武汉微景易绘科技有限公司 基于可量测全景三维模型的房屋在线展示方法及系统
CN113593052B (zh) * 2021-08-06 2022-04-29 贝壳找房(北京)科技有限公司 场景朝向确定方法及标记方法
US11961181B2 (en) * 2021-09-23 2024-04-16 Msg Entertainment Group, Llc Three-dimensional image space transformation
CN113920144B (zh) * 2021-09-30 2022-09-13 广东省国土资源测绘院 一种实景照片地面视域分析方法及系统
CN113689482B (zh) * 2021-10-20 2021-12-21 贝壳技术有限公司 拍摄点推荐方法、装置及存储介质
CN114092642B (zh) * 2021-11-18 2024-01-26 抖音视界有限公司 一种三维户型模型生成方法、装置及设备
CN113822994B (zh) * 2021-11-24 2022-02-15 深圳普罗米修斯视觉技术有限公司 三维模型构建方法、装置及存储介质
CN114494487B (zh) * 2021-12-30 2022-11-22 北京城市网邻信息技术有限公司 基于全景图语义拼接的户型图生成方法、设备及存储介质
WO2023163500A1 (en) * 2022-02-28 2023-08-31 Samsung Electronics Co., Ltd. Floorplan-aware camera pose refinement method and system
CN114663618B (zh) * 2022-03-03 2022-11-29 北京城市网邻信息技术有限公司 三维重建及校正方法、装置、设备及存储介质
CN114708383A (zh) * 2022-03-22 2022-07-05 广州市圆方计算机软件工程有限公司 二维平面转三维立体场景的天花和地面构造方法及系统
CN114792357B (zh) * 2022-03-23 2023-05-26 北京城市网邻信息技术有限公司 全景图资源生成方法、装置、电子设备及存储介质
CN114529686B (zh) * 2022-04-21 2022-08-02 三一筑工科技股份有限公司 建筑模型的生成方法、装置、设备及介质
EP4300410B1 (en) * 2022-06-29 2024-05-08 Axis AB Self-learning image geometrical distortion correction
CN115330943B (zh) * 2022-08-11 2023-03-28 北京城市网邻信息技术有限公司 多层空间三维建模方法、装置、设备和存储介质
CN116071490B (zh) * 2022-10-25 2023-06-23 杭州华橙软件技术有限公司 室内空间布局的重构方法及重构装置、电子设备和介质
CN117689846B (zh) * 2024-02-02 2024-04-12 武汉大学 线状目标的无人机摄影重建多交向视点生成方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4119529B2 (ja) 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2000076453A (ja) 1998-08-28 2000-03-14 Kazuhiro Shiina 立体データ作成方法及び装置
FR2787612B1 (fr) * 1998-12-21 2001-03-09 Eastman Kodak Co Procede de construction d'un modele a faces pratiquement planes
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
WO2009006605A2 (en) * 2007-07-03 2009-01-08 Pivotal Vision, Llc Motion-validating remote monitoring system
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8737721B2 (en) * 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
CN100580371C (zh) * 2008-05-16 2010-01-13 南京师范大学 基于空间直角关系的建筑物单影像三维测量方法
US9196084B2 (en) * 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US9025861B2 (en) * 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
US9595134B2 (en) * 2013-05-11 2017-03-14 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D scenes from 2D images
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
US9830681B2 (en) * 2014-01-31 2017-11-28 Hover Inc. Multi-dimensional model dimensioning and scale error correction
WO2015120188A1 (en) * 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
CN103955960B (zh) * 2014-03-21 2017-01-11 南京大学 一种基于单幅输入图像的图像视点变换方法
CN104240289B (zh) * 2014-07-16 2017-05-03 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN104202890B (zh) * 2014-09-24 2016-10-05 北京极澈远技术有限公司 照明设备的待机电路和照明设备的工作电路
CN105279787B (zh) * 2015-04-03 2018-01-12 北京明兰网络科技有限公司 基于拍照的户型图识别生成三维房型的方法
CN104851127B (zh) * 2015-05-15 2017-07-04 北京理工大学深圳研究院 一种基于交互的建筑物点云模型纹理映射方法及装置
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
WO2017203709A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
CN106485785B (zh) * 2016-09-30 2023-09-26 李娜 一种基于室内三维建模和定位的场景生成方法及系统
CN106780421A (zh) * 2016-12-15 2017-05-31 苏州酷外文化传媒有限公司 基于全景平台的装修效果展示方法
US10572970B2 (en) * 2017-04-28 2020-02-25 Google Llc Extracting 2D floor plan from 3D GRID representation of interior space
CN107248193A (zh) * 2017-05-22 2017-10-13 北京红马传媒文化发展有限公司 二维平面与虚拟现实场景进行切换的方法、系统及装置
CN107393003B (zh) * 2017-08-07 2020-12-04 苍穹数码技术股份有限公司 一种基于云计算的三维房屋自动建模的方法与实现
CN107798725B (zh) * 2017-09-04 2020-05-22 华南理工大学 基于Android的二维住房户型识别和三维呈现方法
CN107978017B (zh) * 2017-10-17 2020-05-12 厦门大学 基于框线提取的室内结构快速建模方法
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法
US10445913B2 (en) * 2018-03-05 2019-10-15 Faro Technologies, Inc. System and method of scanning and editing two dimensional floorplans
US11055532B2 (en) * 2018-05-02 2021-07-06 Faro Technologies, Inc. System and method of representing and tracking time-based information in two-dimensional building documentation

Also Published As

Publication number Publication date
CN108961395B (zh) 2019-07-30
CA3103844C (en) 2023-10-31
GB202018574D0 (en) 2021-01-06
GB2588030B (en) 2023-03-29
WO2020006941A1 (zh) 2020-01-09
GB2588030A (en) 2021-04-14
CN111247561B (zh) 2021-06-08
JP2021528794A (ja) 2021-10-21
JP7162933B2 (ja) 2022-10-31
CN111247561A (zh) 2020-06-05
US20200111250A1 (en) 2020-04-09
CN108961395A (zh) 2018-12-07
US11200734B2 (en) 2021-12-14
CA3103844A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR20210008400A (ko) 촬영을 기반으로 3차원 공간 장면을 재구성하는 방법
US8265374B2 (en) Image processing apparatus, image processing method, and program and recording medium used therewith
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
TW201915944A (zh) 圖像處理方法、裝置、系統和儲存介質
JPH1196374A (ja) ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
Şanlıoğlua et al. PHOTOGRAMMETRIC SURVEY AND 3D MODELING OF IVRIZ ROCK RELIEF IN LATE HITTITE ERA.
JP2000268179A (ja) 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体
JP4178469B2 (ja) 空中写真画像データーセットの構成方法
JP4354708B2 (ja) 多視点カメラシステム
Fleischmann et al. Fast projector-camera calibration for interactive projection mapping
Gonzalez-Aguilera et al. Application of non-destructive techniques to the recording and modelling of palaeolithic rock art
JP2003323603A (ja) ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム
Amini et al. Development of a new stereo‐panorama system based on off‐the‐shelf stereo cameras
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
JP3637416B2 (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
Ioannidis et al. Laser scanning and photogrammetry for the documentation of a large statue-experiences in the combined use
JP3851887B2 (ja) ステレオ写真方式による立体視地図表示装置および方法
CN112465947B (zh) 影像的虚拟空间建立方法及系统
JP7444396B2 (ja) 三次元画像計測システム、三次元画像計測方法、三次元画像計測プログラムおよび記録媒体
Piech et al. 3D visualization of interiors–the case of “U Jaksy” gallery
Avila Forero Documentation of cultural heritage using 3D laser scanning and close-range photogrammetry
JP2024037496A (ja) 画像処理装置、プログラム及び画像処理方法
Wang et al. Estimating heights of buildings from geotagged photos for data enrichment on OpenStreetMap

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination