KR102163389B1 - 입체 모델 생성 방법 및 장치 - Google Patents

입체 모델 생성 방법 및 장치 Download PDF

Info

Publication number
KR102163389B1
KR102163389B1 KR1020180123380A KR20180123380A KR102163389B1 KR 102163389 B1 KR102163389 B1 KR 102163389B1 KR 1020180123380 A KR1020180123380 A KR 1020180123380A KR 20180123380 A KR20180123380 A KR 20180123380A KR 102163389 B1 KR102163389 B1 KR 102163389B1
Authority
KR
South Korea
Prior art keywords
model
dimensional
generating
dimensional space
mesh model
Prior art date
Application number
KR1020180123380A
Other languages
English (en)
Other versions
KR20200042781A (ko
Inventor
신승호
유연걸
임국찬
전진수
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180123380A priority Critical patent/KR102163389B1/ko
Publication of KR20200042781A publication Critical patent/KR20200042781A/ko
Application granted granted Critical
Publication of KR102163389B1 publication Critical patent/KR102163389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

실시예에 따라 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법은, 실제 공간에 대한 정보를 기초로 실제 공간에 대응하는 입체 공간 모델을 생성하는 단계와, 특정 형태의 가상 메쉬 모델을 생성하는 단계와, 가상 메쉬 모델을 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정하는 단계를 포함한다.

Description

입체 모델 생성 방법 및 장치{3D MODEL PRODUCING METHOD AND APPARATUS}
본 발명은 실제 공간에 대응하는 입체 공간 모델을 생성하는 방법 및 장치에 관한 것이다.
실제 공간에 대한 입체 공간 모델을 생성하기 위해 레이저 스캐너와 카메라를 이용하는 기술이 있다. 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드(point cloud)를 획득하고, 실제 공간을 카메라로 촬영하여 영상을 획득하며, 포인트 클라우드와 영상을 정합한 정합 영상을 기반으로 메쉬 모델을 생성함으로써, 실제 공간과 매우 유사한 입체 공간 모델을 생성할 수 있다.
그런데, 실제 공간에 위치하는 객체 중에서 유리창처럼 투명재질을 갖는 투명체와 거울처럼 반사재질을 갖는 반사체가 존재하는 경우에는 입체 공간 모델 내에 투명체 및 반사체가 제대로 표현되지 않아서 불완전 영역이 포함되는 문제점이 있다. 레이저 스캐너를 이용해 실제 공간을 스캐닝 할 때에 반사체의 경우는 노이즈(noise)가 많이 발생하고 투명체의 경우는 노이즈가 많이 발생할 뿐만 아니라 투명체의 뒤쪽에 있는 물체가 스캐닝 되기 때문이다.
한국등록특허 제1572618호 (등록일 : 2015년 11월 23일)
일 실시예에 따르면, 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영하는 입체 모델 생성 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따른, 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법은, 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하는 단계와, 특정 형태의 가상 메쉬 모델을 생성하는 단계와, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 단계를 포함한다.
본 발명의 제 2 관점에 따른, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램은 상기 입체 모델 생성 방법에 따른 각각의 단계를 수행한다.
본 발명의 제 3 관점에 따르면, 상기 입체 모델 생성 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 컴퓨터 프로그램이 컴퓨터 판독 가능 기록매체에 기록된다.
본 발명의 제 4 관점에 따른, 입체 모델 생성 장치는, 실제 공간에 대한 정보를 획득하는 정보 획득부와, 상기 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 제어부를 포함한다.
본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 입체 모델 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 일 예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 일 예를 설명하기 위한 흐름도이다.
도 4은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 다른 예를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 다른 예를 설명하기 위한 흐름도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 입체 모델 생성 장치가 도 2의 입체 모델 생성 방법을 통해 생성한 가상 메쉬 모델의 예시도들이다.
도 8은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 생성된 입체 공간 모델을 예시한 것이고, 도 9는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 생성된 가상 메쉬 모델을 예시한 것이며, 도 10은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 도 8의 입체 공간 모델에 도 9의 가상 메쉬 모델이 반영되어 수정된 입체 공간 모델을 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 입체 모델 생성 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 입체 모델 생성 장치(100)는 정보 획득부(110), 사용자 입력부(120), 제어부(130) 및 디스플레이부(140)를 포함한다. 예를 들어, 제어부(130)는 CPU(Central Processing Unit)를 포함할 수 있다.
정보 획득부(110)는 입체 공간 모델을 생성하기 위한 실제 공간에 대한 정보를 획득한다. 여기서, 정보 획득부(110)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 획득할 수 있다. 이러한 정보 획득부(110)는 도 1에 도시한 바와 같이 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드를 획득하는 레이저 스캐너(111)를 일체로 포함할 수 있고, 실제 공간을 촬영하여 영상을 획득하는 카메라(112)를 일체로 포함할 수 있다. 또는, 정보 획득부(110)는 외부에 별개로 구비된 레이저 스캐너 및 카메라로부터 통신 인터페이스(도시 생략됨)를 통해 실제 공간에 대한 포인트 클라우드 및 영상을 입력 받아 획득할 수도 있다.
사용자 입력부(120)는 입체 모델 생성 장치(100)의 사용자가 입체 모델 생성 장치(100)에 각종 명령을 입력하기 위한 인터페이스 수단이다. 예를 들어, 입체 모델 생성 장치(100)에 의해 생성된 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션(interaction)을 사용자 입력부(120)를 통해 제어부(130)에 입력할 수 있다. 여기서, 입체 공간 모델의 불완전 영역이란 실제 공간에 대한 정보가 정확히 획득되지 않아서 이를 기반으로 생성한 입체 공간 모델 내의 노이즈(noise) 영역을 일컫는다. 예를 들어, 실제 공간에 위치하는 객체 중에서 유리창처럼 투명재질을 갖는 투명체와 거울처럼 반사재질을 갖는 반사체가 존재하는 경우에는 입체 공간 모델 내에 투명체 및 반사체가 제대로 표현되지 않아서 입체 공간 모델에 불완전 영역이 포함될 수 있다.
제어부(130)는 정보 획득부(110)에 의해 획득된 실제 공간에 대한 정보를 기초로 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 가상 메쉬 모델을 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다.
여기서, 제어부(130)는 가상 메쉬 모델을 생성할 때에, 입체 공간 모델에 대응하여 특정 형태를 결정하고, 결정된 특정 형태에 따라 가상 메쉬 모델을 생성할 수 있다. 아울러, 제어부(130)는 입체 공간 모델을 생성할 때에, 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드를 정합하여 정합 영상을 생성하고, 실제 공간에 위치하는 객체를 메쉬 모델로 생성하며, 메쉬 모델에 정합 영상으로부터 추출한 텍스처 정보를 반영하여 객체에 대한 입체 공간 모델을 생성할 수 있다. 이때, 제어부(130)는 가상 메쉬 모델을 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성할 수 있다. 그리고, 제어부(130)는 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태 또는 메쉬 모델의 정점 중 노이즈를 제외한 모든 정정을 둘러싼 형태로 가상 메쉬 모델을 생성할 수 있다. 이때, 제어부(130)는 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내의 포인트 클라우드를 노이즈로서 제외할 수 있고, 기 설정된 단위 면적에 포함된 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 단위 면적 내의 정점을 노이즈로서 제외할 수 있다.
또는, 제어부(130)는 가상 메쉬 모델을 생성할 때에, 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트를 감지한 결과에 기초하여 입체 공간 모델의 불완전 영역을 결정하고, 결정된 불완전 영역의 형태에 기초하여 특정 형태를 결정해서 특정 형태의 가상 메쉬 모델을 생성할 수 있다.
한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 가상 메쉬 모델에 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 가상 메쉬 모델과 입체 공간 모델을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.
또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 실제 공간을 촬영하여 획득한 영상을 이용하여 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.
디스플레이부(140)는 제어부(130)에 의해 생성 및 수정된 입체 공간 모델을 제어부(130)의 제어에 따라 시각적으로 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 일 예를 설명하기 위한 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 일 예를 설명하기 위한 흐름도이고, 도 4은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 다른 예를 설명하기 위한 흐름도이다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에서 수행되는 입체 모델 생성 방법의 일 예에 대해 자세히 살펴보기로 한다.
먼저, 입체 모델 생성 장치(100)의 정보 획득부(110)는 입체 공간 모델을 생성하고자 하는 실제 공간에 대한 정보를 획득한다. 예를 들어, 정보 획득부(110)의 레이저 스캐너(111)는 실제 공간을 스캐닝하여 포인트 클라우드를 획득하고, 획득된 포인트 클라우드를 제어부(130)에 전달할 수 있다. 예컨대, 레이저 스캐너(111)로는 라이다(LiDAR: Light Detection And Ranging) 장비가 이용될 수 있다. 아울러, 정보 획득부(110)의 카메라(112)는 레이저 스캐너(111)가 스캐닝한 동일한 실제 공간을 촬영하여 영상을 획득하고, 획득된 영상을 제어부(130)에 전달할 수 있다. 또는, 정보 획득부(110)는 통신 인터페이스(도시 생략됨)를 통해 실제 공간에 대한 포인트 클라우드 및 영상을 입력 받고, 입력된 실제 공간에 대한 포인트 클라우드 및 영상을 제어부(130)에 전달할 수도 있다(S210).
그러면, 제어부(130)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드를 정합하여 정합 영상을 생성한다. 예를 들어, 제어부(130)는 실제 공간에 배치된 마커를 인식하여 카메라 영상과 포인트 클라우드 간 관계 정보를 계산하고, 계산된 관계 정보를 기초로 정합 영상을 생성할 수 있다(S220).
이어서, 제어부(130)는 정보 획득부(110)에 의해 획득된 실제 공간에 대한 정보를 기초로 실제 공간에 대응하는 메쉬 모델을 생성하며(S230), 메쉬 모델에 단계 S220에서 생성한 정합 영상으로부터 추출한 텍스처 정보를 반영하여 객체에 대한 입체 공간 모델을 생성한다(S240).
그리고, 제어부(130)는 단계 S240에서 생성된 입체 공간 모델에 대응하여 특정 형태를 결정하고, 결정된 특정 형태에 따라 가상 메쉬 모델을 생성한다. 이렇게 생성된 가상 메쉬 모델은 이후의 단계 S270에서 입체 공간 모델을 수정할 때에 이용하기 위한 것이다. 단계 S250에서 제어부(130)는 단계 S210에서 획득된 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태를 가상 메쉬 모델의 특정 형태로 결정하거나, 단계 S210에서 획득된 메쉬 모델의 정점 중 노이즈를 제외한 모든 정정을 둘러싼 형태를 가상 메쉬 모델의 특정 형태로 결정할 수 있다. 이때, 제어부(130)는 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내의 포인트 클라우드를 노이즈로서 제외할 수 있고, 기 설정된 단위 면적에 포함된 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 단위 면적 내의 정점을 노이즈로서 제외할 수 있다. 예를 들어, 제어부(130)는 제 1 임계값과 제 2 임계값에 대해 서로 다른 값을 이용할 수 있지만 경우에 따라서는 동일한 값을 이용할 수도 있다. 예컨대, 제어부(130)는 단위 면적에 포함된 메쉬 모델의 정점의 수 또는 포인트 클라우드의 수가 임계값보다 적은 수일 경우에 해당 단위 면적 내의 포인트 클라우드 및 메쉬 모델을 노이즈로서 제외할 수 있다. 이렇게, 제어부(130)가 단계 S240에서 생성된 입체 공간 모델에 대응하여 특정 형태를 결정하면, 노이즈를 제외하더라도 입체 공간 모델과 유사한 형태, 예컨대 육면체가 특정 형태로 결정될 수 있다(S250). 이로써, 제어부(130)에 의해 생성되는 가상 메쉬 모델이 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성된다(S260).
도 6은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 가상 메쉬 모델에 노이즈가 포함된 경우이고, 도 7은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 가상 메쉬 모델에 노이즈가 포함된 경우이다. 도 6에서는 가상 메쉬 모델의 외부 쪽에 노이즈가 많이 존재하지만 도 7에서는 가상 메쉬 모델의 외부 쪽에 있던 노이즈가 제거된 것을 알 수 있다.
다음으로, 제어부(130)는 단계 S260에서 생성된 가상 메쉬 모델을 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다. 여기서, 제어부(130)는 단계 S210에서 획득된 포인트 클라우드를 이용해 벽면을 식별한 후 불완전 영역을 포함하는 벽면에 가상 메쉬 모델을 반영하여 입체 공간 모델을 수정할 수 있다.
제어부(130)가 포인트 클라우드를 이용해 스스로 입체 공간 모델의 불완전 영역을 결정하여 이를 포함하는 벽면에 가상 메쉬 모델을 반영하는 경우를 더 자세히 살펴보기로 한다. 입체 공간 모델에 포함된 면(예컨대, 벽면)을 식으로 표현하면, Normal (Xn, Yn, Zn) 값과 평면 위의 한 점 (X,Y,Z)이 된다. 면의 식을 미지수로 놓고, 포인트 클라우드를 해당 면 위에 프로젝션(사영)한다고 가정하고, 포인트 클라우드들과 면의 거리가 최소가 되도록 하는 선형방정식을 풀이하면, 포인트 클라우드들을 가지고 포인트 클라우드들 근처로 지나가는 면을 얻어 낼 수 있다. 이렇게, 면의 식을 구하면 크기가 무한이 큰 면이 되므로 면에 프로젝션한 포인트 클라우드 위치를 고려하여 포인트 클라우드들을 포함하는 면의 크기를 정한다. 이후, 제어부(130)는 앞서 크기가 정해진 면에 대해, 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내에 불완전 영역이 존재하는 지를 판단하고, 불완전 영역이 존재하는 경우에 해당 단위 면적을 포함하는 면에 단계 S260에서 생성된 가상 메쉬 모델을 반영하여 입체 공간 모델을 수정한다. 이처럼, 입체 공간 모델 내의 면을 모델 수정의 대상으로 선정하는 이유는 투명재질을 갖는 유리창이나 반사재질을 갖는 거울이 벽면에 형성되는 것이 일반적이기 때문이다.
한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S260에서 생성된 가상 메쉬 모델에 단계 S220에서 생성된 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 텍스처 정보가 반영된 가상 메쉬 모델을 입체 공간 모델 내의 불완전 영역을 포함하는 면에 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.
또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S210에서 실제 공간을 촬영하여 획득한 영상을 이용하여 단계 S260에서 생성된 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델 내의 불완전 영역을 포함하는 면을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다. 여기서, 가상 메쉬 모델의 환경맵을 생성할 때에 단계 S210에서 실제 공간을 촬영하여 획득한 영상 이외에 별도로 획득한 영상을 추가로 이용할 수도 있다. 예를 들어, 단계 S210에서 촬영된 영상을 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵(cube map)을 생성해 환경맵으로 사용할 수 있다. 또는, 실제 공간의 외부에서 여러 장의 영상을 추가로 촬영하여 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수도 있다. 이 경우에는 실제 공간의 벽면이 유리창을 포함하는 경우에, 환경맵이 가상 메쉬 모델에 반영되기 때문에 최종 수정된 입체 공간 모델에 실제 공간의 외부 환경(예컨대, 유리창의 굴절에 의한 외부 풍경)이 반영될 수 있다(S270).
도 8은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 입체 공간 모델이 단계 S270에 의해 수정되기 전, 즉 단계 S240까지 수행되어 생성된 입체 공간 모델을 예시한 것이고, 도 9는 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 단계 S250 및 S260이 수행되어 생성된 가상 메쉬 모델을 예시한 것이며, 도 10은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 도 8의 입체 공간 모델에 도 9의 가상 메쉬 모델이 반영되어 수정된 입체 공간 모델을 예시한 것이다. 도 8에서는 입체 공간 모델의 타원으로 표시된 영역에 불완전 영역이 존재하지만 도 9에서는 타원으로 표시된 동일 영역의 불완전 영역이 제거되었다.
도 5는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 다른 예를 설명하기 위한 흐름도이다.
이하, 도 1, 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에서 수행되는 입체 모델 생성 방법의 다른 예에 대해 자세히 살펴보기로 한다. 설명에 앞서, 도 2와 도 5를 비교하여 보면, S210과 S510이 대응하고, S220과 S520이 대응하며, S230과 S530이 대응하고, S240과 S540이 대응하기에, 아래에서는 그 설명을 생략하기로 한다.
단계 S550에서, 제어부(130)는 단계 S540에서 생성된 입체 공간 모델의 불완전 영역을 결정하여야 한다. 이를 위해, 제어부(130)는 디스플레이부(140)로 하여금 단계 S540에서 생성된 입체 공간 모델을 표시하도록 제어하고, 사용자 입력부(120)를 통해 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트가 발생하지는 지를 감시한다. 여기서, 사용자는 사용자 입력부(120)를 통해 입체 공간 모델 중 불완전 영역을 지정해 주는 사용자 인터렉션 이벤트를 발생시켜서 입체 공간 모델의 불완전 영역에 대한 정보를 제어부(130)에 제공할 수 있다. 예컨대, 마우스 등과 같은 좌표지정수단을 이용하여 디스플레이부(140)에 표시 중인 입체 공간 모델 내의 불완전 영역의 경계 좌표를 지정해 줄 수 있으며, 제어부(130)는 불완전 영역의 경계 좌표 지정 값을 사용자 인터렉션 이벤트로서 감지할 수 있다. 이로써, 제어부(130)는 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트를 인식한 결과에 기초하여 입체 공간 모델의 불완전 영역을 결정하게 된다(S550).
그리고, 제어부(130)는 단계 S550에서 결정된 불완전 영역의 형태를 인식하고, 인식된 형태에 기초하여 단계 S560에서 생성하고자 하는 가상 메쉬 모델의 형태를 결정한다. 예를 들어, 제어부(130)는 불완전 영역에 대한 형태 인식의 결과와 동일하게 가상 메쉬 모델의 형태를 결정하거나 불완전 영역을 모두 포함하는 형태를 가상 메쉬 모델의 형태로 결정할 수 있다. 이어서, 제어부(130)는 앞서 결정된 특정 형태에 대응하는 가상 메쉬 모델을 생성한다. 이때, 제어부(130)는 가상 메쉬 모델을 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성한다(S560).
다음으로, 제어부(130)는 단계 S560에서 생성된 가상 메쉬 모델을 단계 S550에서 결정된 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다.
한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S560에서 생성된 가상 메쉬 모델에 단계 S520에서 생성된 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 텍스처 정보가 반영된 가상 메쉬 모델을 입체 공간 모델 내의 불완전 영역에 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다(S570).
또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S510에서 실제 공간을 촬영하여 획득한 영상을 이용하여 단계 S560에서 생성된 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델 내의 불완전 영역을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다. 여기서, 가상 메쉬 모델의 환경맵을 생성할 때에 단계 S510에서 실제 공간을 촬영하여 획득한 영상 이외에 별도로 획득한 영상을 추가로 이용할 수도 있다. 예를 들어, 단계 S510에서 촬영된 영상을 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수 있다. 또는, 실제 공간의 외부에서 여러 장의 영상을 추가로 촬영하여 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수도 있다. 이 경우에는 실제 공간의 벽면이 유리창을 포함하는 경우에, 환경맵이 가상 메쉬 모델에 반영되기 때문에 최종 수정된 입체 공간 모델에 실제 공간의 외부 환경(예컨대, 유리창의 굴절에 의한 외부 풍경)이 반영될 수 있다(S570).
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상된다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상된다.
이러한 본 발명은 가상현실(Virtual Reality)을 이용하는 다양한 산업분야에 이용할 수 있다.
100: 입체 모델 생성 장치
110: 정보 획득부
120: 사용자 입력부
130: 제어부
140: 디스플레이부

Claims (13)

  1. 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법으로서,
    실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하는 단계와,
    특정 형태의 가상 메쉬 모델을 생성하는 단계와,
    상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 단계를 포함하고,
    상기 가상 메쉬 모델을 생성하는 단계는,
    상기 입체 공간 모델의 상기 불완전 영역을 결정하는 단계와,
    상기 결정된 불완전 영역의 형태에 기초하여 상기 특정 형태를 결정해서 상기 가상 메쉬 모델을 생성하는 단계를 포함하고,
    상기 특정 형태를 결정할 때에, 상기 실제 공간을 스캐닝하여 획득한 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태로 결정하거나, 상기 실제 공간에 대응하는 메쉬 모델의 정점 중 노이즈를 제외한 모든 정점을 둘러싼 형태로 결정하는
    입체 모델 생성 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 입체 공간 모델을 생성하는 단계는,
    상기 실제 공간을 촬영하여 획득한 영상과 상기 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 단계와,
    상기 실제 공간에 위치하는 객체를 메쉬 모델로 생성하는 단계와,
    상기 메쉬 모델에 상기 정합 영상으로부터 추출한 텍스처 정보를 반영하여 상기 객체에 대한 상기 입체 공간 모델을 생성하는 단계를 포함하고,
    상기 가상 메쉬 모델은, 상기 메쉬 모델의 정점 또는 상기 포인트 클라우드를 포함하여 생성하는
    입체 모델 생성 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 3 항에 있어서,
    상기 불완전 영역을 결정하는 단계는, 기 설정된 단위 면적에 포함된 상기 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 결정하거나, 상기 단위 면적에 포함된 상기 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 결정하는
    입체 모델 생성 방법.
  9. 제 3 항에 있어서,
    상기 입체 공간 모델을 수정하는 단계는,
    상기 가상 메쉬 모델에 상기 텍스처 정보를 반영하는 단계와,
    상기 가상 메쉬 모델과 상기 입체 공간 모델을 합성하여 렌더링하는 단계를 포함하는
    입체 모델 생성 방법.
  10. 제 3 항에 있어서,
    상기 입체 공간 모델을 수정하는 단계는,
    상기 실제 공간을 촬영하여 획득한 영상을 이용하여 상기 가상 메쉬 모델의 환경맵을 생성하는 단계와,
    상기 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하는 단계와,
    상기 설정된 특성을 기초로 상기 환경맵의 텍스처 정보를 반영해 상기 가상 메쉬 모델과 상기 입체 공간 모델을 합성하여 렌더링하는 단계를 포함하는
    입체 모델 생성 방법.
  11. 제 1 항, 제 3 항 또는 제 8 항 중 어느 한 항에 기재된 입체 모델 생성 방법에 따른 각각의 단계를 수행하는
    컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항, 제 3 항 또는 제 8 항 중 어느 한 항에 기재된 입체 모델 생성 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는
    컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    실제 공간에 대한 정보를 획득하는 정보 획득부와,
    상기 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 제어부를 포함하고,
    상기 제어부는, 상기 가상 메쉬 모델을 생성할 때에,
    상기 입체 공간 모델의 상기 불완전 영역을 결정하고, 상기 결정된 불완전 영역의 형태에 기초하여 상기 특정 형태를 결정해서 상기 가상 메쉬 모델을 생성하되,
    상기 특정 형태를 결정할 때에, 상기 실제 공간을 스캐닝하여 획득한 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태로 결정하거나, 상기 실제 공간에 대응하는 메쉬 모델의 정점 중 노이즈를 제외한 모든 정점을 둘러싼 형태로 결정하는
    입체 모델 생성 장치.
KR1020180123380A 2018-10-16 2018-10-16 입체 모델 생성 방법 및 장치 KR102163389B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180123380A KR102163389B1 (ko) 2018-10-16 2018-10-16 입체 모델 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123380A KR102163389B1 (ko) 2018-10-16 2018-10-16 입체 모델 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200042781A KR20200042781A (ko) 2020-04-24
KR102163389B1 true KR102163389B1 (ko) 2020-10-08

Family

ID=70465983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123380A KR102163389B1 (ko) 2018-10-16 2018-10-16 입체 모델 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102163389B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129759A (ko) 2021-03-17 2022-09-26 주식회사 케이티 복수의 단일 공간 모델을 관리하는 장치, 방법 및 컴퓨터 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102578580B1 (ko) * 2020-11-27 2023-09-15 한국전자통신연구원 3차원 데이터 생성 장치 및 방법
KR20230075882A (ko) * 2021-11-23 2023-05-31 주식회사 모라이 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098256A (ja) * 2004-09-30 2006-04-13 Ricoh Co Ltd ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP2017182434A (ja) * 2016-03-30 2017-10-05 沖電気工業株式会社 データ処理装置、データ処理プログラム、及びデータ処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101849696B1 (ko) * 2011-07-19 2018-04-17 삼성전자주식회사 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR101572618B1 (ko) 2014-10-16 2015-12-02 연세대학교 산학협력단 라이더 시뮬레이션 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098256A (ja) * 2004-09-30 2006-04-13 Ricoh Co Ltd ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
JP2017182434A (ja) * 2016-03-30 2017-10-05 沖電気工業株式会社 データ処理装置、データ処理プログラム、及びデータ処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129759A (ko) 2021-03-17 2022-09-26 주식회사 케이티 복수의 단일 공간 모델을 관리하는 장치, 방법 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20200042781A (ko) 2020-04-24

Similar Documents

Publication Publication Date Title
EP3392831B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
US11115633B2 (en) Method and system for projector calibration
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
KR102163389B1 (ko) 입체 모델 생성 방법 및 장치
CN108286945B (zh) 基于视觉反馈的三维扫描系统和方法
EP3200451B1 (en) Projector optimization method and system
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
JP5799273B2 (ja) 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
CN108362223B (zh) 一种便携式3d扫描仪、扫描系统和扫描方法
JP6576083B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
US11060853B2 (en) Three-dimensional sensor system and three-dimensional data acquisition method
US10789784B2 (en) Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
CN109064533B (zh) 一种3d漫游方法及系统
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2019091118A1 (en) Robotic 3d scanning systems and scanning methods
CN110533762B (zh) 三维头像的生成方法及电子装置
KR102291162B1 (ko) 인공 지능 학습용 가상 데이터 생성 장치 및 방법
US11682234B2 (en) Texture map generation using multi-viewpoint color images
CN114758055A (zh) 三维模型生成方法、xr设备及存储介质
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
KR101690256B1 (ko) 영상 처리 방법 및 장치
KR102459851B1 (ko) 이미지의 밝기를 조절하는 방법 및 장치

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)