KR20220053332A - 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램 - Google Patents

파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220053332A
KR20220053332A KR1020200137665A KR20200137665A KR20220053332A KR 20220053332 A KR20220053332 A KR 20220053332A KR 1020200137665 A KR1020200137665 A KR 1020200137665A KR 20200137665 A KR20200137665 A KR 20200137665A KR 20220053332 A KR20220053332 A KR 20220053332A
Authority
KR
South Korea
Prior art keywords
point cloud
generating
spatial
model
information
Prior art date
Application number
KR1020200137665A
Other languages
English (en)
Inventor
윤여진
이규철
박종경
이유
이주철
이철희
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020200137665A priority Critical patent/KR20220053332A/ko
Priority to US18/250,082 priority patent/US20230394766A1/en
Priority to PCT/KR2021/014776 priority patent/WO2022086200A1/ko
Publication of KR20220053332A publication Critical patent/KR20220053332A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Abstract

공간 모델을 생성하는 공간 모델 생성 서버는 실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하는 도출부, 파노라마 영상에 대한 포인트 클라우드를 생성하는 포인트 클라우드 생성부, 경계점 정보에 기초하여 포인트 클라우드를 분할하는 분할부, 분할된 포인트 클라우드에 대응하는 평면에 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하는 텍스쳐 이미지 생성부, 경계점 정보에 기초하여 포인트 클라우드로부터 기하 정보를 추출하고, 추출된 기하 정보에 기초하여 메쉬 모델을 생성하는 메쉬 모델 생성부 및 텍스쳐 이미지 및 메쉬 모델에 기초하여 실내 공간에 대한 공간 모델을 생성하는 공간 모델 생성부를 포함할 수 있다.

Description

파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램{SERVER, METHOD AND COMPUTER PROGRAM FOR GENERATING SPACIAL MODEL BASED ON PANORAMA IMAGE}
본 발명은 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램에 관한 것이다.
3차원 공간 모델을 생성하기 위해, 우선적으로 스캔용 특수 장비(예컨대, 레이더 장비, 3차원 깊이 카메라 등)를 이용하여 물리적 공간을 스캔해야 하는 과정이 필요하다.
3차원 공간 모델은 스캔한 이미지를 이용하여 수작업으로 제작되는데 이 경우, 제작 시간이 길며, 만일 전문가를 고용하여 3차원 공간 모델을 제작하고자 하는 경우, 제작 비용이 상당히 많이 든다.
한편, 기존의 360도 이미지 기반의 공간 분석 알고리즘(예컨대, HorizonNet)은 공간 분석의 속도 향상을 위해 공간의 모든 이미지를 정규화(예컨대, 1024*512)하고, 정규화된 이미지들을 이용하여 포인트 클라우드 모델을 생성한다. 정규화된 이미지들의 경우, 이미지 크기가 변환된 이미지이기 때문에 원본 이미지의 해상도를 충분히 반영하지 못하는 문제점이 있다. 또한, 포인트 클라우드 모델은 정규화된 이미지의 사이즈에 의존하여 생성되기 때문에 공간의 형태가 복잡해지거나 한 방향으로 길어지게 되면 정점 밀집도가 떨어져 공간 모델 상에 홀이 생기거나 홀의 크기가 커지게 되는 문제점이 발생한다.
한국등록특허공보 제10-1192474호 (2012.10.11. 등록)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 실내 공간의 파노라마 영상으로부터 도출된 경계점 정보에 기초하여 파노라마 영상에 대 한 포인트 클라우드를 각 평면별로 필터링하여 텍스쳐 이미지를 생성하고, 경계점 정보에 기초하여 포인트 클라우드로부터 추출된 기하 정보를 통해 메쉬 모델을 생성하고, 생성된 텍스쳐 이미지 및 메쉬 모델에 기초하여 실내 공간에 대한 공간 모델을 생성하고자 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 공간 모델을 생성하는 공간 모델 생성 서버는 실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하는 도출부; 상기 파노라마 영상에 대한 포인트 클라우드를 생성하는 포인트 클라우드 생성부; 상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하는 분할부; 상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하는 텍스쳐 이미지 생성부; 상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하는 메쉬 모델 생성부; 및 상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 공간 모델 생성부를 포함할 수 있다.
본 발명의 제 2 측면에 따른 공간 모델 생성 서버에 의해 공간 모델을 생성하는 방법은 실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하는 단계; 상기 파노라마 영상에 대한 포인트 클라우드를 생성하는 단계; 상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하는 단계; 상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하는 단계; 상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하는 단계; 및 상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 제 3 측면에 따른 공간 모델을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하고, 상기 파노라마 영상에 대한 포인트 클라우드를 생성하고, 상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하고, 상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하고, 상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하고, 상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 명령어들의 시퀀스를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 실내 공간의 파노라마 영상으로부터 도출된 경계점 정보에 기초하여 파노라마 영상에 대 한 포인트 클라우드를 각 평면별로 필터링하여 텍스쳐 이미지를 생성하고, 경계점 정보에 기초하여 포인트 클라우드로부터 추출된 기하 정보를 통해 메쉬 모델을 생성하고, 생성된 텍스쳐 이미지 및 메쉬 모델에 기초하여 실내 공간에 대한 공간 모델을 생성할 수 있다.
이를 통해, 본 발명은 각 평면 단위별로 텍스쳐 이미지를 생성하는 과정에서 원본 파노라마 영상에 포함된 이미지를 그대로 사용하기 때문에 해상도의 손실없이 표현 정밀도를 높인 고해상도 텍스쳐 이미지를 생성할 수 있다.
또한, 본 발명은 포인트 클라우드로부터 획득되는 벽면/천장면/바닥면에 대응하는 기하 정보를 필터링하여 정점 개수를 최소화하고, 최소한의 정점의 개수를 갖는 기하 정보에 기초하여 메쉬화를 수행하기 때문에 경량화된 메쉬 모델을 생성하고, 생성된 메쉬 모델에 텍스쳐 이미지를 입혀 실내 공간의 디테일은 보존하면서도 경량화된 공간 모델을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 공간 모델 생성 서버의 블록도이다.
도 2a 내지 2e는 본 발명의 일 실시예에 따른, 텍스쳐 이미지를 생성하는 방법을 설명하기 위한 도면이다.
도 3a 내지 3d는 본 발명의 일 실시예에 따른, 메쉬 모델을 생성하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른, 복수의 공간 모델을 보정하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른, 공간 모델을 생성하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 공간 모델 생성 서버(10)의 블록도이다.
도 1을 참조하면, 공간 모델 생성 서버(10)는 도출부(100), 포인트 클라우드 생성부(110), 분할부(120), 텍스쳐 이미지 생성부(130), 메쉬 모델 생성부(140), 공간 모델 생성부(150) 및 보정부(160)를 포함할 수 있다. 다만, 도 1에 도시된 공간 모델 생성 서버(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
이하에서는 도 2a 내지 4를 함께 참조하여 도 1을 설명하기로 한다.
영상 수신부(미도시)는 실내 공간을 촬영한 영상 촬영 장치(예컨대, 360 카메라 등)로부터 실내 공간의 파노라마 영상을 수신할 수 있다. 여기서, 실내 공간의 파노라마 영상은 영상의 사이즈가 변경되지 않은 촬영 원본 영상일 수 있다.
도출부(100)는 실내 공간의 파노라마 영상으로부터 경계선 정보 및 경계점 정보를 도출할 수 있다. 예를 들어, 도출부(100)는 경계점 검출 알고리즘에 실내 공간의 파노라마 영상을 입력하여 파노라마 영상으로부터 경계선 정보(벽 및 천장 간 경계선, 벽 및 바닥 간 경계선) 및 경계점 정보(벽 간 경계점)를 검출할 수 있다.
포인트 클라우드 생성부(110)는 파노라마 영상에 대한 포인트 클라우드를 생성할 수 있다.
포인트 클라우드 생성부(110)는 파노라마 영상의 해상도와 동일한 포인트의 개수에 해당하는 포인트 클라우드를 생성할 수 있다.
도 2a를 참조하면, 포인트 클라우드 생성부(110)는 도출된 경계선 정보 및 경계점 정보에 기초하여 실내 공간의 파노라마 영상의 해상도와 동일한 포인트 개수로 구성되는 포인트 클라우드를 생성할 수 있다. 이 때, 포인트 클라우드의 좌표 정보는 구면 좌표계(Spherical Coordinates)로부터 맨하탄 공간(Manhattan Space)의 좌표계로 변환되어 계산될 수 있다. 포인트 클라우드의 좌표 정보는 3차원의 좌표 정보를 갖는다.
분할부(120)는 경계점 정보에 기초하여 포인트 클라우드를 분할할 수 있다.
분할부(120)는 경계점 정보에 포함된 복수의 경계점 중 평면 단위별로 기준 경계점을 선정하고, 선정된 기준 경계점에 기초하여 평면 단위별로 포인트 클라우드를 분할할 수 있다. 예를 들어, 도 2b를 참조하면, 탐색부(미도시)는 최접근 이웃(Nearest Neighbor) 탐색 알고리즘을 이용하여 포인트 클라우드를 구성하는 복수의 정점 중 경계점 정보에 포함된 각 경계점(
Figure pat00001
,
Figure pat00002
,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
,
Figure pat00006
,
Figure pat00007
,
Figure pat00008
)과 가장 가까운 정점을 포인트 클라우드 상에서 탐색할 수 있다. 분할부(120)는 탐색된 정점들을 평면 단위별 기준 경계점으로 선정하고, 선정된 기준 경계점에 기초하여 평면 단위별로 포인트 클라우드를 분할할 수 있다. 예를 들어, 최접근 이웃 탐색 알고리즘은 [수학식 1]과 같이 나타낼 수 있다.
[수학식 1]
Figure pat00009
여기서,
Figure pat00010
는 경계점 정보에 포함된 복수의 경계점이고, X는 포인트 클라우드를 구성하는 복수의 정점이다.
분할부(120)는 천장면을 구성하는 복수의 경계점 간 벡터의 개수에 기초하여 포인트 클라우드에서 벽면에 해당하는 포인트 클라우드를 분할할 수 있다.
예를 들어, 분할부(120)는 벽면이 바닥면 및 천장면 각각과 수직한 면이라는 가정 하에 필터링 과정에서 탐색된 N 개의 정점(포인트 클라우드에 포함된 정점들) 중에서 한 면을 이루는 4개의 정점을 검출하고, 검출된 4개의 정점이 이루는 경계라인 안쪽에 위치하는 포인트 클라우드를 획득할 수 있다.
분할부(120)는 천장면에 대응하는 경계점들을 순서대로 정렬한 후, 천장면에 대응하는 경계점들을 잇는 벡터의 개수에 기초하여 벽면의 개수를 결정하고, 결정된 벽면의 개수에 기초하여 포인트 클라우드에서 벽면에 해당하는 포인트 클라우드를 추출할 수 있다.
한편, 천장면 및 바닥면은 도 2c와 같이 공간의 형상에 따라 다양한 형태(예컨대, 사각형, T 형태, L 형태 등)가 존재할 수 있으므로 경계점의 개수가 공간의 형태에 따라 상이할 수 있다.
이에 따라, 분할부(120)는 포인트 클라우드에서 실내 공간의 형태에 대응하는 다각형 영역의 내부로 판단되는 천장면 및 바닥면에 해당하는 포인트 클라우드를 분할할 수 있다. 즉, 분할부(120)는 복수의 경계점에 따라 설정되는 다각형 영역(천장면 및 바닥면에 대응하는 영역)에서 다각형 영역의 내부로 판단되는 포인트 클라우드를 천장면 및 바닥면에 해당하는 포인트 클라우드로서 필터링할 수 있다.
이 때, 분할부(120)는 예를 들어 [수학식 2]를 이용하여 다각형 영역의 내부에 위치한 포인트 클라우드와 다각형 영역의 외부에 위치한 포인트 클라우드를 판별할 수 있다.
계산상의 편의를 위하여, 분할부(120)는 3차원 좌표계에서 면을 이루는 두 축의 2차원 좌표만을 취하여 다각형 영역의 내부 및 외부를 판단할 수 있다. 예를 들어, 공간을 구성하는 기저 좌표계를 오른손 좌표계(right-handed system)로 사용할 때, 각 벡터의 방향은 카운터 클럭와이즈(counter clock wise)로 설정되므로 한 평면의 내부에 위치한 임의의 정점 P(x, y)에 대한 내/외부 판단은
Figure pat00011
과
Figure pat00012
을 잇는 방향 벡터에 의해 [수학식 2]를 만족하게 된다. 여기서, 카운터 클럭와이즈는 시계 반시계 방향을 의미한다.
[수학식 2]
Figure pat00013
텍스쳐 이미지 생성부(130)는 분할된 포인트 클라우드에 대응하는 평면에 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성할 수 있다.
예를 들어, 텍스쳐 이미지 생성부(130)는 멀티뷰 프로젝션 기법 중 제 3 각 투영(Third angle projection) 기법을 이용하여 분할된 포인트 클라우드에 포함된 각 정점의 컬러 정보를 추출하고, 추출된 컬러 정보에 기초하여 텍스쳐 이미지를 생성할 수 있다. 여기서, 제 3 각 투영 기법은 물체를 제 3 각에 두고 투영면에서 정투영하는 기법이다.
예를 들어, 도 2d를 참조하면, 텍스쳐 이미지 생성부(130)는 각 평면의 투영 방향을 결정짓는 법선 벡터의 방향 정보(실내 공간의 안쪽에서 바깥쪽으로 향하는 방향)에 기초하여 분할된 포인트 클라우드에 대응하는 평면에 분할된 포인트 클라우드를 투영할 수 있다.
예를 들어, 텍스쳐 이미지 생성부(130)는 도 2e와 같이 분할된 벽면에 해당하는 포인트 클라우드를 벽면에 대응하는 평면에 투영하여 벽면에 대응하는 텍스쳐 이미지를 생성할 수 있다. 또한, 텍스쳐 이미지 생성부(130)는 분할된 천장면에 해당하는 포인트 클라우드를 천장면에 대응하는 평면에 투영하여 천장면에 대응하는 텍스쳐 이미지를 생성할 수 있다. 또한, 텍스쳐 이미지 생성부(130)는 분할된 바닥면에 해당하는 포인트 클라우드를 바닥면에 대응하는 평면에 투영하여 바닥면에 대응하는 텍스쳐 이미지를 생성할 수 있다.
텍스쳐 이미지 생성부(130)는 생성된 텍스쳐 이미지에 정점이 투영되지 않아 홀이 발생하는 경우, 홀 채우기 알고리즘을 이용하여 텍스쳐 이미지의 홀을 채울 수 있다. 예를 들어, 분할된 포인트 클라우드에 대응하는 평면에 분할된 포인트 클라우드가 투영되는 경우, 홀 채우기 알고리즘은 연산 속도의 향상을 위해 FMM(Fast Marching Method) 기법을 이용하여 4방향 인접 화소 정보에 기초하여 홀 채우기를 수행한다. 이 때, 홀 채우기 알고리즘은 원본 파노라마 영상의 해상도 정보에 기초하여 홀을 채울 수 있기 때문에 고해상도 텍스쳐 이미지의 생성이 가능하다.
실내 공간이 다면체 공간(예컨대, T 형태, L 형태 등)으로 형성되어 있는 경우, 천장면 및 바닥면에 대응하는 평면은 사각형의 형태가 아니므로 연산 속도 향상을 위해 실내 공간의 바운더리 에지(boundary edge)를 기준으로 천장면 및 바닥면에 대응하는 평면 상에서 다각형 외부에 해당하는 영역을 마스크 처리하여 투영에서 제외시키고, 홀 채우기 연산 시에도 마스크 처리된 영역을 제외하여 홀 채우기를 수행함으로써 연산 속도를 향상시킬 수 있다.
텍스쳐 이미지 생성부(130)는 평면 단위별로 생성된 복수의 텍스쳐 이미지와 각 텍스쳐 이미지에 대응하는 평면에 포함된 경계점의 좌표 정보를 함께 데이터베이스에 저장할 수 있다. 예를 들어, 텍스쳐 이미지 생성부(130)는 실내 공간을 구성하는 평면의 개수에 기초하여 생성된 텍스쳐 이미지들을 기설정된 이미지 파일 확장자(예컨대, jpg, png 등)로 저장할 수 있다. 또한, 텍스쳐 이미지 생성부(130)는 각 텍스쳐 이미지에 대응하는 평면에 포함된 경계점의 좌표 정보를 json 파일 형식으로 저장할 수 있다. 이 때, json 파일 형식으로 저장된 경계점의 좌표 정보는 실내 공간에 대응하는 이미지 공간에 맞게 정규화된 정보일 수 있다.
이와 같이, 본 발명은 각 평면 단위별로 텍스쳐 이미지를 생성하는 과정에서 원본 파노라마 영상에 포함된 이미지를 그대로 사용하기 때문에 해상도의 손실없이 표현 정밀도를 높인 고해상도 텍스쳐 이미지를 생성할 수 있다.
한편, 메쉬 모델 생성부(140)는 경계점 정보를 기반으로 각 평면을 천장면, 바닥면, 벽면으로 분리하고, 경계점 정보에 포함된 복수의 경계점을 기준으로 3차원 공간상에서 최접근 이웃 탐색 알고리즘을 수행하여 포인트 클라우드를 구성하는 복수의 정점 중 경계점 정보에 포함된 경계점에 대응하는 정점(천장면/바닥면/벽면 각각에 대응하는 기하 정보)을 추출할 수 있다.
메쉬 모델 생성부(140)는 경계점 정보에 기초하여 포인트 클라우드로부터 기하 정보를 추출하고, 추출된 기하 정보에 기초하여 메쉬 모델을 생성할 수 있다.
메쉬 모델 생성부(140)는 다각형 평면에 대응하는 기하 정보에 기초하여 다각형 평면의 메쉬화 연산을 수행할 수 있다.
메쉬 모델 생성부(140)는 포인트 클라우드로부터 추출된 벽면에 대응하는 기하 정보에 기초하여 벽면에 대한 메쉬화 연산을 수행하고, 벽면에 대한 메쉬 모델을 생성할 수 있다.
예를 들어, 도 3a를 참조하면, 메쉬 모델 생성부(140)는 경계점 정보에 포함된 경계점에 대응하는 정점들(포인트 클라우드에 포함된 정점) 중 천장면이나 바닥면에 수직이면서 하나의 평면을 구성하는 4개의 정점을 벽면에 대응하는 기하 정보로서 추출할 수 있다. 또한, 메쉬 모델 생성부(140)는 벽면에 대한 방향 벡터(실내 공간의 안쪽에서 바깥쪽 방향으로 평면에 수직인 법선 벡터)를 설정하고, 4개의 정점의 순서를 반시계 방향(카운터 클락 와이즈)으로 정렬한 후, 일반적인 삼각화 알고리즘(예컨대, Delaunay 알고리즘 Poisson 알고리즘 Ball pivoting 알고리즘 등)을 이용하여 삼각형 분할을 수행하면서 벽면에 대한 메쉬화 연산을 수행할 수 있다.
또한, 메쉬 모델 생성부(140)는 천장면에 대응하는 경계점들을 기준으로 생성되는 바운더리 엣지에 대응하는 벡터의 개수를 공간 생성에 필요한 벽면의 개수로 지정하여 반복적으로 벽면을 검출하고, 검출된 벽면에 대한 메쉬화 연산을 수행할 수 있다.
메쉬 모델 생성부(140)는 포인트 클라우드로부터 추출된 천장면 및 바닥면에 대응하는 기하 정보에 기초하여 천장면 및 바닥면에 대한 메쉬화 연산을 수행하고, 천장면 및 바닥면에 대한 메쉬 모델을 생성할 수 있다.
메쉬 모델 생성부(140)는 벽면에 수직이면서 하나의 평면을 이루는 정점들(포인트 클라우드에 속하는 정점)중에서 천장면 또는 바닥면에 대응하는 기하 정보를 추출할 수 있다. 이 때, 천장면 및 바닥면에 대응하는 기하 정보는 공간의 형태에 따라 4개 이상의 정점을 포함하는 다각형 기하 정보를 포함할 수 있다.
예를 들어, 도 3b를 참조하면, 구조가 복잡한 천장면(또는 바닥면)의 경우, 일반적인 삼각화 알고리즘으로 메쉬화 연산을 수행하게 되면, 다각형 형태의 오목한 영역이 채워지게 되므로 바운더리 에지 정보를 활용하는 제한된 삼각화(constrained triangulation) 알고리즘을 이용하여 천장면(또는 바닥면)에 대한 메쉬화 연산을 수행할 수 있다. 도 3c를 참조하면, 메쉬 모델 생성부(140)는 제한된 삼각화 알고리즘이 적용된 천장면에 대한 메쉬화 연산을 통해 천장면에 대한 메쉬 모델(30)을 생성할 수 있다.
공간 모델 생성부(150)는 텍스쳐 이미지 및 메쉬 모델에 기초하여 실내 공간에 대한 공간 모델을 생성할 수 있다.
공간 모델 생성부(150)는 텍스쳐 이미지에 대응하는 경계점 정보와 메쉬 모델에 대응하는 경계점 정보를 일치시켜 공간 모델을 생성할 수 있다. 예를 들어, 공간 모델 생성부(150)는 천장면 및 바닥면의 텍스쳐 이미지에 대응하는 경계점 정보와 천장면 및 바닥면에 대한 메쉬 모델에 대응하는 경계점 정보를 일치시키고, 벽면의 텍스쳐 이미지에 대응하는 경계점 정보와 벽면에 대한 메쉬 모델에 대응하는 경계점 정보를 일치시켜 공간 모델을 생성할 수 있다.
공간 모델 생성부(150)는 각 평면별로 생성된 메쉬 모델에 대한 정보(예컨대, 메쉬 재질 정보, 메쉬 모델에 대응하는 좌표 정보 등) 및 각 메쉬 모델과 연관된 텍스쳐 이미지에 대한 정보를 기설정된 동일한 파일 형식에 맞게 데이터베이스에 저장함으로써 일반적인 3D 모델 뷰어 환경에서 호환이 가능하도록 할 수 있다.
도 3d를 참조하면, 본 발명은 포인트 클라우드로부터 획득되는 벽면/천장면/바닥면에 대응하는 기하 정보를 필터링하여 정점 개수를 최소화하고, 최소한의 정점의 개수(예컨대, 12개)를 갖는 기하 정보에 기초하여 메쉬화를 수행하기 때문에 메쉬 모델의 용량을 줄일 수 있다. 또한, 본 발명은 벽면/천장면/바닥면 각각에 대응하는 텍스쳐 이미지(예컨대, 6장) 및 메쉬 모델에 기초하여 경량화된 공간 모델을 생성할 수 있다.
한편, 앞서 기술한 공간 모델의 생성 방법으로 공간 모델을 생성하더라도 일부 공간 구조가 복잡한 공간 모델의 경우, 파노라마 영상으로부터 획득된 정보가 없는 영역(가려진 영역)은 표현되지 않는다. 이러한 문제점을 해결하기 위해, 본 발명은 복수의 위치에서 실내 공간을 촬영한 복수의 파노라마 영상 각각에 대응하는 공간의 공간 모델들을 이용하여 가려진 영역을 표현할 수 있다.
도 4를 참조하면, 보정부(160)는 동일한 실내 공간을 각기 다른 위치에서 촬영한 복수의 파노라마 영상 각각에 대응하여 생성된 공간 모델을 이용하여 가려진 영역을 보정할 수 있다.
보정부(160)는 복수의 공간 모델 중 기준 모델(예컨대, 실내 공간의 중심에서 촬영한 파노라마 영상에 기초하여 생성된 모델)을 선정하고, 기준 모델을 제외한 나머지 공간 모델들을 구성하는 텍스쳐 이미지 및 기하 정보를 이용하여 가려진 영역을 보정할 수 있다.
보정부(160)는 복수의 위치에서 실내 공간을 촬영한 복수의 파노라마 영상 각각에 대응하는 공간의 공간 모델을 기준 위치 정보에 기초하여 정렬할 수 있다. 예를 들어, 보정부(160)는 공간의 천장면이나 바닥면의 형태를 고려하여 적어도 하나의 공간 모델을 회전하고, 바운딩 박스(bounding box)에 기초하여 계산된 중심점을 기준 위치 정보로 설정할 수 있다. 이어서, 보정부(160)는 설정된 기준 위치 정보에 기초하여 복수의 공간 모델을 정렬하거나 크기 조절과 같은 변환을 수행할 수 있다.
보정부(160)는 정렬된 복수의 공간 모델 간에 매칭되는 경계점 정보의 변위 차이를 계산하고, 계산된 변위 차이에 기초하여 복수의 공간 모델을 보정할 수 있다.
예를 들어, 공간 모델 A가 N 개의 정점집합 P로 구성되어 있고, 동일한 공간을 다른 위치에서 촬영한 파노라마 영상으로부터 생성된 공간 모델 B가 N 개의 정점집합 Q로 구성되어 있다고 가정할 때, 제 1 공간 모델 및 제 2 공간 모델 사이의 좌표별 변위 차이와 노멀 차이는 예를 들어 [수학식 3]과 같이 챔퍼 거리(Chamfer distance)로 계산될 수 있다.
[수학식 3]
Figure pat00014
Figure pat00015
[수학식 3]을 살펴보면, 보정부(160)는
Figure pat00016
과,
Figure pat00017
을 최소로 하는 위치로 정점을 이동시켜 공간 모델 A 및 공간 모델 B를 일치시킴으로써 해당 공간 모델들의 보완을 위한 기하 정보를 도출할 수 있다.
보정부(160)는 정렬된 복수의 공간 모델 간에 매칭되는 텍스쳐 이미지를 비교하여 복수의 공간 모델을 보정할 수 있다.
보정부(160)는 정렬된 복수의 공간 모델 간에 매칭되는 기하 정보를 이용하여 복수의 공간 모델을 보정할 수 있다.
보정부(160)는 복수의 공간 모델 중 기준 모델을 구성하는 텍스쳐 이미지 중 누락된 텍스쳐 이미지(예컨대, 벽면에 대응하는 텍스쳐 이미지)가 있는 경우, 복수의 공간 모델로부터 누락된 텍스쳐 이미지를 획득하고, 획득된 텍스쳐 이미지에 기초하여 기준 모델을 보정할 수 있다.
한편, 당업자라면, 도출부(100), 포인트 클라우드 생성부(110), 분할부(120), 텍스쳐 이미지 생성부(130), 메쉬 모델 생성부(140), 공간 모델 생성부(150) 및 보정부(160) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5는 본 발명의 일 실시예에 따른, 공간 모델을 생성하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단계 S501에서 공간 모델 생성 서버(10)는 실내 공간의 파노라마 영상으로부터 경계점 정보를 도출할 수 있다.
단계 S503에서 공간 모델 생성 서버(10)는 파노라마 영상에 대한 포인트 클라우드를 생성할 수 있다.
단계 S505에서 공간 모델 생성 서버(10)는 경계점 정보에 기초하여 포인트 클라우드를 분할할 수 있다.
단계 S507에서 공간 모델 생성 서버(10)는 분할된 포인트 클라우드에 대응하는 평면에 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성할 수 있다.
단계 S509에서 공간 모델 생성 서버(10)는 경계점 정보에 기초하여 포인트 클라우드로부터 기하 정보를 추출하고, 추출된 기하 정보에 기초하여 메쉬 모델을 생성할 수 있다.
단계 S511에서 공간 모델 생성 서버(10)는 텍스쳐 이미지 및 메쉬 모델에 기초하여 실내 공간에 대한 공간 모델을 생성할 수 있다.
상술한 설명에서, 단계 S501 내지 S511은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 공간 모델 생성 서버
100: 도출부
110: 포인트 클라우드 생성부
120: 분할부
130: 텍스쳐 이미지 생성부
140: 메쉬 모델 생성부
150: 공간 모델 생성부
160: 보정부

Claims (19)

  1. 공간 모델을 생성하는 공간 모델 생성 서버에 있어서,
    실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하는 도출부;
    상기 파노라마 영상에 대한 포인트 클라우드를 생성하는 포인트 클라우드 생성부;
    상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하는 분할부;
    상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하는 텍스쳐 이미지 생성부;
    상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하는 메쉬 모델 생성부; 및
    상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 공간 모델 생성부
    를 포함하는 것인, 공간 모델 생성 서버.
  2. 제 1 항에 있어서,
    상기 포인트 클라우드 생성부는 상기 파노라마 영상의 해상도와 동일한 포인트의 개수에 해당하는 상기 포인트 클라우드를 생성하는 것인, 공간 모델 생성 서버.
  3. 제 1 항에 있어서,
    상기 분할부는 상기 경계점 정보에 포함된 복수의 경계점 중 평면 단위별로 기준 경계점을 선정하고, 상기 기준 경계점에 기초하여 상기 평면 단위별로 상기 포인트 클라우드를 분할하는 것인, 공간 모델 생성 서버.
  4. 제 3 항에 있어서,
    상기 분할부는 천장면을 구성하는 복수의 경계점 간 벡터의 개수에 기초하여 상기 포인트 클라우드에서 벽면에 해당하는 포인트 클라우드를 분할하는 것인, 공간 모델 생성 서버.
  5. 제 4 항에 있어서,
    상기 분할부는 상기 포인트 클라우드에서 상기 실내 공간의 형태에 대응하는 다각형 영역의 내부로 판단되는 천장면 및 바닥면에 해당하는 포인트 클라우드를 분할하는 것인, 공간 모델 생성 서버.
  6. 제 1 항에 있어서,
    상기 메쉬 모델 생성부는 상기 포인트 클라우드로부터 추출된 벽면에 대응하는 기하 정보에 기초하여 상기 벽면에 대한 메쉬화 연산을 수행하고,
    상기 포인트 클라우드로부터 추출된 천장면 및 바닥면에 대응하는 기하 정보에 기초하여 상기 천장면 및 바닥면에 대한 메쉬화 연산을 수행하는 것인, 공간 모델 생성 서버.
  7. 제 1 항에 있어서,
    상기 공간 모델 생성부는 상기 텍스쳐 이미지에 대응하는 경계점 정보와 상기 메쉬 모델에 대응하는 경계점 정보를 일치시켜 상기 공간 모델을 생성하는 것인, 공간 모델 생성 서버.
  8. 제 1 항에 있어서,
    복수의 위치에서 상기 실내 공간을 촬영한 복수의 파노라마 영상 각각에 대응하는 복수의 공간 모델을 기준 위치 정보에 기초하여 정렬하고,
    상기 정렬된 복수의 공간 모델 간에 매칭되는 경계점 정보의 변위 차이를 계산하고,
    상기 계산된 변위 차이에 기초하여 상기 복수의 공간 모델을 보정하는 보정부
    를 더 포함하는 것인, 공간 모델 생성 서버.
  9. 제 8 항에 있어서,
    상기 보정부는 상기 복수의 공간 모델 중 기준 모델을 구성하는 텍스쳐 이미지 중 누락된 텍스쳐 이미지가 있는 경우, 상기 복수의 공간 모델로부터 상기 누락된 텍스쳐 이미지를 획득하고, 상기 획득된 텍스쳐 이미지에 기초하여 상기 기준 모델을 보정하는 것인, 공간 모델 생성 서버.
  10. 공간 모델 생성 서버에 의해 공간 모델을 생성하는 방법에 있어서,
    실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하는 단계;
    상기 파노라마 영상에 대한 포인트 클라우드를 생성하는 단계;
    상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하는 단계;
    상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하는 단계;
    상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하는 단계; 및
    상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 단계
    를 포함하는 것인, 공간 모델 생성 방법.
  11. 제 10 항에 있어서,
    상기 포인트 클라우드를 생성하는 단계는
    상기 파노라마 영상의 해상도와 동일한 포인트의 개수에 해당하는 상기 포인트 클라우드를 생성하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  12. 제 10 항에 있어서,
    상기 포인트 클라우드를 분할하는 단계는
    상기 경계점 정보에 포함된 복수의 경계점 중 평면 단위별로 기준 경계점을 선정하는 단계 및
    상기 기준 경계점에 기초하여 상기 평면 단위별로 상기 포인트 클라우드를 분할하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  13. 제 12 항에 있어서,
    상기 포인트 클라우드를 분할하는 단계는
    천장면을 구성하는 복수의 경계점 간 벡터의 개수에 기초하여 상기 포인트 클라우드에서 벽면에 해당하는 포인트 클라우드를 분할하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  14. 제 12 항에 있어서,
    상기 포인트 클라우드를 분할하는 단계는
    상기 포인트 클라우드에서 상기 실내 공간의 형태에 대응하는 다각형 영역의 내부로 판단되는 천장면 및 바닥면에 해당하는 포인트 클라우드를 분할하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  15. 제 10 항에 있어서,
    상기 메쉬 모델을 생성하는 단계는
    상기 포인트 클라우드로부터 추출된 벽면에 대응하는 기하 정보에 기초하여 상기 벽면에 대한 메쉬화 연산을 수행하는 단계
    상기 포인트 클라우드로부터 추출된 천장면 및 바닥면에 대응하는 기하 정보에 기초하여 상기 천장면 및 바닥면에 대한 메쉬화 연산을 수행하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  16. 제 10 항에 있어서,
    상기 공간 모델을 생성하는 단계는
    상기 텍스쳐 이미지에 대응하는 경계점 정보와 상기 메쉬 모델에 대응하는 경계점 정보를 일치시켜 상기 공간 모델을 생성하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  17. 제 10 항에 있어서,
    복수의 위치에서 상기 실내 공간을 촬영한 복수의 파노라마 영상 각각에 대응하는 복수의 공간 모델을 기준 위치 정보에 기초하여 정렬하는 단계;
    상기 정렬된 복수의 공간 모델 간에 매칭되는 경계점 정보의 변위 차이를 계산하는 단계; 및
    상기 계산된 변위 차이에 기초하여 상기 복수의 공간 모델을 보정하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  18. 제 17 항에 있어서,
    상기 복수의 공간 모델을 보정하는 단계는
    상기 복수의 공간 모델 중 기준 모델을 구성하는 텍스쳐 이미지 중 누락된 텍스쳐 이미지가 있는 경우, 상기 복수의 공간 모델로부터 상기 누락된 텍스쳐 이미지를 획득하고, 상기 획득된 텍스쳐 이미지에 기초하여 상기 기준 모델을 보정하는 단계를 포함하는 것인, 공간 모델 생성 방법.
  19. 공간 모델을 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
    실내 공간의 파노라마 영상으로부터 경계점 정보를 도출하고,
    상기 파노라마 영상에 대한 포인트 클라우드를 생성하고,
    상기 경계점 정보에 기초하여 상기 포인트 클라우드를 분할하고,
    상기 분할된 포인트 클라우드에 대응하는 평면에 상기 분할된 포인트 클라우드를 투영하여 텍스쳐 이미지를 생성하고,
    상기 경계점 정보에 기초하여 상기 포인트 클라우드로부터 기하 정보를 추출하고, 상기 추출된 기하 정보에 기초하여 메쉬 모델을 생성하고,
    상기 텍스쳐 이미지 및 상기 메쉬 모델에 기초하여 상기 실내 공간에 대한 상기 공간 모델을 생성하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020200137665A 2020-10-22 2020-10-22 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램 KR20220053332A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200137665A KR20220053332A (ko) 2020-10-22 2020-10-22 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램
US18/250,082 US20230394766A1 (en) 2020-10-22 2021-10-21 Server, method and computer program for generating spatial model from panoramic image
PCT/KR2021/014776 WO2022086200A1 (ko) 2020-10-22 2021-10-21 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200137665A KR20220053332A (ko) 2020-10-22 2020-10-22 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20220053332A true KR20220053332A (ko) 2022-04-29

Family

ID=81290914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200137665A KR20220053332A (ko) 2020-10-22 2020-10-22 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US20230394766A1 (ko)
KR (1) KR20220053332A (ko)
WO (1) WO2022086200A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102568699B1 (ko) * 2022-09-07 2023-08-22 인하대학교 산학협력단 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법
WO2023224304A1 (en) * 2022-05-19 2023-11-23 Samsung Electronics Co., Ltd. Method and electronic device for achieving accurate point cloud segmentation
KR102621781B1 (ko) * 2023-05-16 2024-01-09 주식회사 라이드플럭스 포인트 클라우드 데이터에서의 지표면 데이터 추출 방법, 장치 및 컴퓨터프로그램

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230087196A (ko) * 2021-12-09 2023-06-16 한국전자통신연구원 영상 기반 경량 3차원 모델 생성 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101192474B1 (ko) 2010-03-31 2012-10-17 가천대학교 산학협력단 건조물문화재의 객체 중심의 3ｄ 파노라마 생성 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020529A1 (en) * 2012-08-02 2014-02-06 Earthmine, Inc. Three-dimensional plane panorama creation through hough-based line detection
US9836885B1 (en) * 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
KR102097648B1 (ko) * 2018-01-25 2020-04-06 (주)바텍이우홀딩스 3차원 ct 영상으로부터 자동 선택된 치아 ct 슬라이스 상에 악궁 형상에 대응하는 커브를 자동으로 생성하는 방법
US10877155B2 (en) * 2018-09-25 2020-12-29 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101192474B1 (ko) 2010-03-31 2012-10-17 가천대학교 산학협력단 건조물문화재의 객체 중심의 3ｄ 파노라마 생성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224304A1 (en) * 2022-05-19 2023-11-23 Samsung Electronics Co., Ltd. Method and electronic device for achieving accurate point cloud segmentation
KR102568699B1 (ko) * 2022-09-07 2023-08-22 인하대학교 산학협력단 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법
KR102621781B1 (ko) * 2023-05-16 2024-01-09 주식회사 라이드플럭스 포인트 클라우드 데이터에서의 지표면 데이터 추출 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
US20230394766A1 (en) 2023-12-07
WO2022086200A1 (ko) 2022-04-28

Similar Documents

Publication Publication Date Title
US11830163B2 (en) Method and system for image generation
JP7162933B2 (ja) オブジェクトの内部空間モデルを確立するための方法、装置及びシステム、並びに、コンピュータ装置及びコンピュータ可読記憶媒体
KR20220053332A (ko) 파노라마 영상으로부터 공간 모델을 생성하는 서버, 방법 및 컴퓨터 프로그램
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
US10777002B2 (en) 3D model generating system, 3D model generating method, and program
JP4677536B1 (ja) ３次元物体認識装置及び３次元物体認識方法
US20140218354A1 (en) View image providing device and method using omnidirectional image and 3-dimensional data
US11315313B2 (en) Methods, devices and computer program products for generating 3D models
WO2008056825A1 (fr) Procédé de création d'une surface tridimensionnelle
WO2007133620A2 (en) System and architecture for automatic image registration
KR101813617B1 (ko) 3차원 데이터를 획득하기 위한 카메라 리그 방법, 이를 수행하는 카메라 리그 시스템, 및 이를 저장하는 기록매체
US10154241B2 (en) Depth map based perspective correction in digital photos
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
JPWO2018167918A1 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
JP2009530701A (ja) 深度マップを画像から判定する方法、深度マップを判定する装置
JP2009530701A5 (ko)
KR20140004604A (ko) ３차원 얼굴 생성 장치 및 방법
JP4778569B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法及びステレオ画像処理プログラム
KR101351745B1 (ko) ３차원 얼굴 생성 장치 및 방법
US11747141B2 (en) System and method for providing improved geocoded reference data to a 3D map representation
JP6719168B1 (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
JP4177017B2 (ja) オルソフォト生成方法、オルソフォト生成システム及びオルソフォト生成プログラム
WO2020250348A1 (ja) 物体認識装置及び物体認識方法
WO2021014538A1 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP2004133556A (ja) 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination