KR20200042781A - 3d model producing method and apparatus - Google Patents

3d model producing method and apparatus Download PDF

Info

Publication number
KR20200042781A
KR20200042781A KR1020180123380A KR20180123380A KR20200042781A KR 20200042781 A KR20200042781 A KR 20200042781A KR 1020180123380 A KR1020180123380 A KR 1020180123380A KR 20180123380 A KR20180123380 A KR 20180123380A KR 20200042781 A KR20200042781 A KR 20200042781A
Authority
KR
South Korea
Prior art keywords
model
dimensional
generating
mesh model
virtual mesh
Prior art date
Application number
KR1020180123380A
Other languages
Korean (ko)
Other versions
KR102163389B1 (en
Inventor
신승호
유연걸
임국찬
전진수
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180123380A priority Critical patent/KR102163389B1/en
Publication of KR20200042781A publication Critical patent/KR20200042781A/en
Application granted granted Critical
Publication of KR102163389B1 publication Critical patent/KR102163389B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

According to an embodiment of the present invention, a method for generating a three-dimensional model performed in a device for generating three-dimensional model comprises the steps of: generating a three-dimensional space model corresponding to a real space based on information on the real space; generating a virtual mesh model having a specific shape; and modifying the three-dimensional space model by reflecting the virtual mesh model in an incomplete area of the three-dimensional space model.

Description

입체 모델 생성 방법 및 장치{3D MODEL PRODUCING METHOD AND APPARATUS}Method and device for generating a three-dimensional model {3D MODEL PRODUCING METHOD AND APPARATUS}

본 발명은 실제 공간에 대응하는 입체 공간 모델을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a three-dimensional spatial model corresponding to an actual space.

실제 공간에 대한 입체 공간 모델을 생성하기 위해 레이저 스캐너와 카메라를 이용하는 기술이 있다. 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드(point cloud)를 획득하고, 실제 공간을 카메라로 촬영하여 영상을 획득하며, 포인트 클라우드와 영상을 정합한 정합 영상을 기반으로 메쉬 모델을 생성함으로써, 실제 공간과 매우 유사한 입체 공간 모델을 생성할 수 있다.There is a technique that uses a laser scanner and a camera to generate a three-dimensional spatial model of real space. By scanning a real space with a laser scanner to obtain a point cloud, capturing a real space with a camera to acquire an image, and generating a mesh model based on a matched image matching the point cloud and the image, thereby real space Can generate a three-dimensional spatial model very similar to.

그런데, 실제 공간에 위치하는 객체 중에서 유리창처럼 투명재질을 갖는 투명체와 거울처럼 반사재질을 갖는 반사체가 존재하는 경우에는 입체 공간 모델 내에 투명체 및 반사체가 제대로 표현되지 않아서 불완전 영역이 포함되는 문제점이 있다. 레이저 스캐너를 이용해 실제 공간을 스캐닝 할 때에 반사체의 경우는 노이즈(noise)가 많이 발생하고 투명체의 경우는 노이즈가 많이 발생할 뿐만 아니라 투명체의 뒤쪽에 있는 물체가 스캐닝 되기 때문이다.However, in the case of a transparent object having a transparent material such as a glass window and a reflective material having a reflective material like a mirror among objects located in a real space, there is a problem that an incomplete area is included because the transparent body and the reflector are not properly expressed in the three-dimensional space model. This is because when a real space is scanned using a laser scanner, noise is generated in the case of a reflector and noise is generated in the case of a transparent object, and the object behind the transparent object is scanned.

한국등록특허 제1572618호 (등록일 : 2015년 11월 23일)Korean Registered Patent No. 1572618 (Registration Date: November 23, 2015)

일 실시예에 따르면, 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영하는 입체 모델 생성 방법 및 장치를 제공한다.According to one embodiment, there is provided a method and apparatus for generating a stereoscopic model that generates a virtual mesh model and reflects it in an incomplete region of a stereoscopic spatial model.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by a person having ordinary knowledge to which the present invention belongs from the following description.

본 발명의 제 1 관점에 따른, 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법은, 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하는 단계와, 특정 형태의 가상 메쉬 모델을 생성하는 단계와, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 단계를 포함한다.According to a first aspect of the present invention, a three-dimensional model generation method performed in a three-dimensional model generating apparatus includes generating a three-dimensional space model corresponding to the real space based on information about the real space, and a virtual mesh of a specific shape And generating a model and modifying the three-dimensional space model by reflecting the virtual mesh model in an incomplete region of the three-dimensional space model.

본 발명의 제 2 관점에 따른, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램은 상기 입체 모델 생성 방법에 따른 각각의 단계를 수행한다.According to the second aspect of the present invention, a computer program stored in a computer-readable recording medium performs each step according to the three-dimensional model generating method.

본 발명의 제 3 관점에 따르면, 상기 입체 모델 생성 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 컴퓨터 프로그램이 컴퓨터 판독 가능 기록매체에 기록된다.According to a third aspect of the present invention, a computer program including instructions for performing each step according to the three-dimensional model generation method is recorded on a computer-readable recording medium.

본 발명의 제 4 관점에 따른, 입체 모델 생성 장치는, 실제 공간에 대한 정보를 획득하는 정보 획득부와, 상기 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 제어부를 포함한다.According to a fourth aspect of the present invention, an apparatus for generating a stereoscopic model generates an information acquisition unit that acquires information about an actual space and a stereoscopic space model corresponding to the actual space based on the information about the actual space, It includes a control unit for generating a specific type of virtual mesh model, and modifying the stereoscopic space model by reflecting the virtual mesh model in an incomplete region of the stereoscopic space model.

본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상되는 효과가 있다.According to an embodiment of the present invention, when generating a three-dimensional space model corresponding to a real space, a virtual mesh model is generated and reflected in an incomplete region of the three-dimensional space model, thereby improving the quality of the three-dimensional space model and improving the matching rate with the real space. There is an effect to be improved.

도 1은 본 발명의 일 실시예에 따른 입체 모델 생성 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 일 예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 일 예를 설명하기 위한 흐름도이다.
도 4은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 다른 예를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 다른 예를 설명하기 위한 흐름도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 입체 모델 생성 장치가 도 2의 입체 모델 생성 방법을 통해 생성한 가상 메쉬 모델의 예시도들이다.
도 8은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 생성된 입체 공간 모델을 예시한 것이고, 도 9는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 생성된 가상 메쉬 모델을 예시한 것이며, 도 10은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에 의해 도 8의 입체 공간 모델에 도 9의 가상 메쉬 모델이 반영되어 수정된 입체 공간 모델을 예시한 것이다.1 is a block diagram of a three-dimensional model generating apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an example of a three-dimensional model generation method performed in the three-dimensional model generating apparatus according to an embodiment of the present invention.
3 is a flowchart for explaining an example of a process of modifying a three-dimensional space model among three-dimensional model generation methods performed in the three-dimensional model generating apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating another example of a process of modifying a three-dimensional spatial model among three-dimensional model generation methods performed in the three-dimensional model generating apparatus according to an embodiment of the present invention.
5 is a flowchart for explaining another example of a three-dimensional model generation method performed in the three-dimensional model generating apparatus according to an embodiment of the present invention.
6 and 7 are exemplary views of a virtual mesh model generated by the stereoscopic model generating method of FIG. 2 by the stereoscopic model generating apparatus according to an embodiment of the present invention.
8 illustrates a three-dimensional spatial model generated by a three-dimensional model generating apparatus according to an embodiment of the present invention, and FIG. 9 illustrates a virtual mesh model generated by a three-dimensional model generating apparatus according to an embodiment of the present invention As an example, FIG. 10 illustrates a modified three-dimensional space model by reflecting the virtual mesh model of FIG. 9 in the three-dimensional space model of FIG. 8 by the three-dimensional model generating apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the embodiments allow the disclosure of the present invention to be complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 입체 모델 생성 장치의 구성도이다.1 is a block diagram of a three-dimensional model generating apparatus according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 일 실시예에 따른 입체 모델 생성 장치(100)는 정보 획득부(110), 사용자 입력부(120), 제어부(130) 및 디스플레이부(140)를 포함한다. 예를 들어, 제어부(130)는 CPU(Central Processing Unit)를 포함할 수 있다.As shown in FIG. 1, the three-dimensional model generating apparatus 100 according to an embodiment includes an information acquisition unit 110, a user input unit 120, a control unit 130, and a display unit 140. For example, the controller 130 may include a central processing unit (CPU).

정보 획득부(110)는 입체 공간 모델을 생성하기 위한 실제 공간에 대한 정보를 획득한다. 여기서, 정보 획득부(110)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 획득할 수 있다. 이러한 정보 획득부(110)는 도 1에 도시한 바와 같이 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드를 획득하는 레이저 스캐너(111)를 일체로 포함할 수 있고, 실제 공간을 촬영하여 영상을 획득하는 카메라(112)를 일체로 포함할 수 있다. 또는, 정보 획득부(110)는 외부에 별개로 구비된 레이저 스캐너 및 카메라로부터 통신 인터페이스(도시 생략됨)를 통해 실제 공간에 대한 포인트 클라우드 및 영상을 입력 받아 획득할 수도 있다.The information acquisition unit 110 acquires information about a real space for generating a three-dimensional space model. Here, the information acquisition unit 110 may acquire a point cloud obtained by scanning an image obtained by photographing a real space and a real space. 1, the information acquisition unit 110 may integrally include a laser scanner 111 that acquires a point cloud by scanning a real space with a laser scanner, and acquires an image by photographing the real space The camera 112 may be integrally included. Alternatively, the information acquisition unit 110 may receive and acquire a point cloud and an image for a real space through a communication interface (not shown) from a laser scanner and a camera separately provided outside.

사용자 입력부(120)는 입체 모델 생성 장치(100)의 사용자가 입체 모델 생성 장치(100)에 각종 명령을 입력하기 위한 인터페이스 수단이다. 예를 들어, 입체 모델 생성 장치(100)에 의해 생성된 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션(interaction)을 사용자 입력부(120)를 통해 제어부(130)에 입력할 수 있다. 여기서, 입체 공간 모델의 불완전 영역이란 실제 공간에 대한 정보가 정확히 획득되지 않아서 이를 기반으로 생성한 입체 공간 모델 내의 노이즈(noise) 영역을 일컫는다. 예를 들어, 실제 공간에 위치하는 객체 중에서 유리창처럼 투명재질을 갖는 투명체와 거울처럼 반사재질을 갖는 반사체가 존재하는 경우에는 입체 공간 모델 내에 투명체 및 반사체가 제대로 표현되지 않아서 입체 공간 모델에 불완전 영역이 포함될 수 있다.The user input unit 120 is an interface means for a user of the three-dimensional model generating apparatus 100 to input various commands to the three-dimensional model generating apparatus 100. For example, a user interaction designating an incomplete area of the three-dimensional space model generated by the three-dimensional model generating apparatus 100 may be input to the controller 130 through the user input unit 120. Here, the incomplete region of the three-dimensional space model refers to a noise region in the three-dimensional space model generated based on the fact that information about the real space is not accurately obtained. For example, in the case of a transparent object having a transparent material such as a glass window and a reflective material having a reflective material such as a mirror among objects located in the real space, an incomplete area is generated in the three-dimensional space model because the transparent object and the reflector are not properly expressed in the three-dimensional space model. Can be included.

제어부(130)는 정보 획득부(110)에 의해 획득된 실제 공간에 대한 정보를 기초로 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 가상 메쉬 모델을 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다.The controller 130 generates a three-dimensional space model corresponding to the real space based on the information about the real space obtained by the information obtaining unit 110, generates a virtual mesh model of a specific shape, and steers the virtual mesh model. The three-dimensional spatial model is corrected by reflecting it in the incomplete area of the spatial model.

여기서, 제어부(130)는 가상 메쉬 모델을 생성할 때에, 입체 공간 모델에 대응하여 특정 형태를 결정하고, 결정된 특정 형태에 따라 가상 메쉬 모델을 생성할 수 있다. 아울러, 제어부(130)는 입체 공간 모델을 생성할 때에, 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드를 정합하여 정합 영상을 생성하고, 실제 공간에 위치하는 객체를 메쉬 모델로 생성하며, 메쉬 모델에 정합 영상으로부터 추출한 텍스처 정보를 반영하여 객체에 대한 입체 공간 모델을 생성할 수 있다. 이때, 제어부(130)는 가상 메쉬 모델을 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성할 수 있다. 그리고, 제어부(130)는 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태 또는 메쉬 모델의 정점 중 노이즈를 제외한 모든 정정을 둘러싼 형태로 가상 메쉬 모델을 생성할 수 있다. 이때, 제어부(130)는 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내의 포인트 클라우드를 노이즈로서 제외할 수 있고, 기 설정된 단위 면적에 포함된 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 단위 면적 내의 정점을 노이즈로서 제외할 수 있다.Here, when generating the virtual mesh model, the controller 130 may determine a specific shape corresponding to the three-dimensional space model, and generate a virtual mesh model according to the determined specific shape. In addition, when generating the three-dimensional space model, the controller 130 matches the image obtained by shooting the real space and the point cloud obtained by scanning the real space to generate a matched image, and meshes the object located in the real space. It is generated as a model, and a three-dimensional spatial model for an object can be generated by reflecting texture information extracted from a matched image in a mesh model. At this time, the control unit 130 may generate a virtual mesh model including one or more vertex of the mesh model or one or more point clouds. In addition, the controller 130 may generate a virtual mesh model in a form surrounding all point clouds except noise among the point clouds or a form surrounding all corrections except noise among vertices of the mesh model. At this time, the control unit 130 may exclude the point cloud within the corresponding unit area as noise based on the comparison result of the number of point clouds included in the preset unit area and the first threshold value, and included in the preset unit area A vertex within a unit area may be excluded as noise based on a comparison result of the number of vertices of the mesh model and the second threshold.

또는, 제어부(130)는 가상 메쉬 모델을 생성할 때에, 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트를 감지한 결과에 기초하여 입체 공간 모델의 불완전 영역을 결정하고, 결정된 불완전 영역의 형태에 기초하여 특정 형태를 결정해서 특정 형태의 가상 메쉬 모델을 생성할 수 있다.Alternatively, when the virtual mesh model is generated, the controller 130 determines an incomplete area of the three-dimensional space model based on a result of detecting a user interaction event designating the incomplete area of the three-dimensional space model, and determines the incomplete area of the three-dimensional space model. A specific shape can be determined on the basis of a virtual mesh model of a specific shape.

한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 가상 메쉬 모델에 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 가상 메쉬 모델과 입체 공간 모델을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.On the other hand, when modifying the three-dimensional space model, the controller 130 may modify the three-dimensional space model by reflecting the texture information extracted from the matched image in the virtual mesh model and synthesizing and rendering the virtual mesh model and the three-dimensional space model.

또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 실제 공간을 촬영하여 획득한 영상을 이용하여 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.Or, when modifying the three-dimensional space model, the controller 130 generates an environment map of the virtual mesh model using the image obtained by photographing the real space, sets reflective material properties or transparent material properties on the virtual mesh model, Based on the set characteristics, the virtual mesh model and the three-dimensional space model may be synthesized and rendered by reflecting the texture information of the environment map, thereby modifying the three-dimensional space model.

디스플레이부(140)는 제어부(130)에 의해 생성 및 수정된 입체 공간 모델을 제어부(130)의 제어에 따라 시각적으로 표시할 수 있다.The display 140 may visually display the three-dimensional space model generated and modified by the controller 130 under the control of the controller 130.

도 2는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 일 예를 설명하기 위한 흐름도이며, 도 3은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 일 예를 설명하기 위한 흐름도이고, 도 4은 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법 중 입체 공간 모델을 수정하는 과정의 다른 예를 설명하기 위한 흐름도이다.2 is a flowchart for explaining an example of a method for generating a three-dimensional model performed in the three-dimensional model generating apparatus according to an embodiment of the present invention, and FIG. 3 is performed in a three-dimensional model generating apparatus according to an embodiment of the present invention Of the three-dimensional model generation method is a flowchart for explaining an example of the process of modifying the three-dimensional space model, Figure 4 is a modified three-dimensional space model of the three-dimensional model generation method performed in the three-dimensional model generating apparatus according to an embodiment of the present invention It is a flow chart for explaining another example of the process.

이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에서 수행되는 입체 모델 생성 방법의 일 예에 대해 자세히 살펴보기로 한다.Hereinafter, an example of a three-dimensional model generating method performed in the three-dimensional model generating apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 4.

먼저, 입체 모델 생성 장치(100)의 정보 획득부(110)는 입체 공간 모델을 생성하고자 하는 실제 공간에 대한 정보를 획득한다. 예를 들어, 정보 획득부(110)의 레이저 스캐너(111)는 실제 공간을 스캐닝하여 포인트 클라우드를 획득하고, 획득된 포인트 클라우드를 제어부(130)에 전달할 수 있다. 예컨대, 레이저 스캐너(111)로는 라이다(LiDAR: Light Detection And Ranging) 장비가 이용될 수 있다. 아울러, 정보 획득부(110)의 카메라(112)는 레이저 스캐너(111)가 스캐닝한 동일한 실제 공간을 촬영하여 영상을 획득하고, 획득된 영상을 제어부(130)에 전달할 수 있다. 또는, 정보 획득부(110)는 통신 인터페이스(도시 생략됨)를 통해 실제 공간에 대한 포인트 클라우드 및 영상을 입력 받고, 입력된 실제 공간에 대한 포인트 클라우드 및 영상을 제어부(130)에 전달할 수도 있다(S210).First, the information acquiring unit 110 of the three-dimensional model generating apparatus 100 acquires information about an actual space to generate a three-dimensional space model. For example, the laser scanner 111 of the information acquisition unit 110 may acquire a point cloud by scanning an actual space, and transmit the acquired point cloud to the control unit 130. For example, LiDAR (Light Detection And Ranging) equipment may be used as the laser scanner 111. In addition, the camera 112 of the information acquisition unit 110 may acquire an image by photographing the same real space scanned by the laser scanner 111 and transmit the acquired image to the controller 130. Alternatively, the information acquisition unit 110 may receive a point cloud and image for the real space through a communication interface (not shown), and may transmit the point cloud and image for the input real space to the controller 130 ( S210).

그러면, 제어부(130)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드를 정합하여 정합 영상을 생성한다. 예를 들어, 제어부(130)는 실제 공간에 배치된 마커를 인식하여 카메라 영상과 포인트 클라우드 간 관계 정보를 계산하고, 계산된 관계 정보를 기초로 정합 영상을 생성할 수 있다(S220).Then, the controller 130 matches the point cloud obtained by scanning the real space with the image obtained by shooting the real space to generate a matched image. For example, the controller 130 may recognize the marker disposed in the real space, calculate relationship information between the camera image and the point cloud, and generate a matched image based on the calculated relationship information (S220).

이어서, 제어부(130)는 정보 획득부(110)에 의해 획득된 실제 공간에 대한 정보를 기초로 실제 공간에 대응하는 메쉬 모델을 생성하며(S230), 메쉬 모델에 단계 S220에서 생성한 정합 영상으로부터 추출한 텍스처 정보를 반영하여 객체에 대한 입체 공간 모델을 생성한다(S240).Subsequently, the control unit 130 generates a mesh model corresponding to the real space based on the information on the real space obtained by the information acquisition unit 110 (S230), and the mesh model from the matched image generated in step S220. A three-dimensional spatial model for an object is generated by reflecting the extracted texture information (S240).

그리고, 제어부(130)는 단계 S240에서 생성된 입체 공간 모델에 대응하여 특정 형태를 결정하고, 결정된 특정 형태에 따라 가상 메쉬 모델을 생성한다. 이렇게 생성된 가상 메쉬 모델은 이후의 단계 S270에서 입체 공간 모델을 수정할 때에 이용하기 위한 것이다. 단계 S250에서 제어부(130)는 단계 S210에서 획득된 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태를 가상 메쉬 모델의 특정 형태로 결정하거나, 단계 S210에서 획득된 메쉬 모델의 정점 중 노이즈를 제외한 모든 정정을 둘러싼 형태를 가상 메쉬 모델의 특정 형태로 결정할 수 있다. 이때, 제어부(130)는 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내의 포인트 클라우드를 노이즈로서 제외할 수 있고, 기 설정된 단위 면적에 포함된 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 단위 면적 내의 정점을 노이즈로서 제외할 수 있다. 예를 들어, 제어부(130)는 제 1 임계값과 제 2 임계값에 대해 서로 다른 값을 이용할 수 있지만 경우에 따라서는 동일한 값을 이용할 수도 있다. 예컨대, 제어부(130)는 단위 면적에 포함된 메쉬 모델의 정점의 수 또는 포인트 클라우드의 수가 임계값보다 적은 수일 경우에 해당 단위 면적 내의 포인트 클라우드 및 메쉬 모델을 노이즈로서 제외할 수 있다. 이렇게, 제어부(130)가 단계 S240에서 생성된 입체 공간 모델에 대응하여 특정 형태를 결정하면, 노이즈를 제외하더라도 입체 공간 모델과 유사한 형태, 예컨대 육면체가 특정 형태로 결정될 수 있다(S250). 이로써, 제어부(130)에 의해 생성되는 가상 메쉬 모델이 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성된다(S260).Then, the controller 130 determines a specific shape in correspondence to the three-dimensional space model generated in step S240, and generates a virtual mesh model according to the determined specific shape. The generated virtual mesh model is used to modify the three-dimensional space model in the subsequent step S270. In step S250, the controller 130 determines the shape surrounding all point clouds except noise among the point clouds obtained in step S210 as a specific form of the virtual mesh model, or all but the noise among the vertices of the mesh model obtained in step S210. The shape surrounding the correction can be determined as a specific shape of the virtual mesh model. At this time, the control unit 130 may exclude the point cloud within the corresponding unit area as noise based on the comparison result of the number of point clouds included in the preset unit area and the first threshold value, and included in the preset unit area A vertex within a unit area may be excluded as noise based on a comparison result of the number of vertices of the mesh model and the second threshold. For example, the control unit 130 may use different values for the first threshold value and the second threshold value, but may use the same value in some cases. For example, when the number of vertices or the number of point clouds of the mesh model included in the unit area is a number less than the threshold, the control unit 130 may exclude the point cloud and the mesh model within the unit area as noise. In this way, if the controller 130 determines a specific shape in response to the three-dimensional space model generated in step S240, a shape similar to the three-dimensional space model, for example, a cube, may be determined in a specific shape even if noise is excluded (S250). Thus, the virtual mesh model generated by the control unit 130 is generated by including one or more point clouds of one or more mesh models (S260).

도 6은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 가상 메쉬 모델에 노이즈가 포함된 경우이고, 도 7은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 가상 메쉬 모델에 노이즈가 포함된 경우이다. 도 6에서는 가상 메쉬 모델의 외부 쪽에 노이즈가 많이 존재하지만 도 7에서는 가상 메쉬 모델의 외부 쪽에 있던 노이즈가 제거된 것을 알 수 있다.6 is a case where noise is included in a virtual mesh model generated by the three-dimensional model generating apparatus 100 according to an embodiment of the present invention, and FIG. 7 is a three-dimensional model generating apparatus 100 according to an embodiment of the present invention It is the case that noise is included in the virtual mesh model generated by). In FIG. 6, there is a lot of noise on the outer side of the virtual mesh model, but in FIG. 7 it can be seen that the noise on the outer side of the virtual mesh model is removed.

다음으로, 제어부(130)는 단계 S260에서 생성된 가상 메쉬 모델을 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다. 여기서, 제어부(130)는 단계 S210에서 획득된 포인트 클라우드를 이용해 벽면을 식별한 후 불완전 영역을 포함하는 벽면에 가상 메쉬 모델을 반영하여 입체 공간 모델을 수정할 수 있다.Next, the controller 130 corrects the three-dimensional space model by reflecting the virtual mesh model generated in step S260 in the incomplete region of the three-dimensional space model. Here, the controller 130 may correct the three-dimensional space model by identifying the wall surface using the point cloud obtained in step S210 and reflecting the virtual mesh model on the wall surface including the incomplete area.

제어부(130)가 포인트 클라우드를 이용해 스스로 입체 공간 모델의 불완전 영역을 결정하여 이를 포함하는 벽면에 가상 메쉬 모델을 반영하는 경우를 더 자세히 살펴보기로 한다. 입체 공간 모델에 포함된 면(예컨대, 벽면)을 식으로 표현하면, Normal (Xn, Yn, Zn) 값과 평면 위의 한 점 (X,Y,Z)이 된다. 면의 식을 미지수로 놓고, 포인트 클라우드를 해당 면 위에 프로젝션(사영)한다고 가정하고, 포인트 클라우드들과 면의 거리가 최소가 되도록 하는 선형방정식을 풀이하면, 포인트 클라우드들을 가지고 포인트 클라우드들 근처로 지나가는 면을 얻어 낼 수 있다. 이렇게, 면의 식을 구하면 크기가 무한이 큰 면이 되므로 면에 프로젝션한 포인트 클라우드 위치를 고려하여 포인트 클라우드들을 포함하는 면의 크기를 정한다. 이후, 제어부(130)는 앞서 크기가 정해진 면에 대해, 기 설정된 단위 면적에 포함된 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 해당 단위 면적 내에 불완전 영역이 존재하는 지를 판단하고, 불완전 영역이 존재하는 경우에 해당 단위 면적을 포함하는 면에 단계 S260에서 생성된 가상 메쉬 모델을 반영하여 입체 공간 모델을 수정한다. 이처럼, 입체 공간 모델 내의 면을 모델 수정의 대상으로 선정하는 이유는 투명재질을 갖는 유리창이나 반사재질을 갖는 거울이 벽면에 형성되는 것이 일반적이기 때문이다.The case where the control unit 130 determines an incomplete area of the three-dimensional space model by itself using a point cloud and reflects the virtual mesh model on the wall including the same will be described in more detail. When a surface (eg, a wall surface) included in a three-dimensional space model is expressed by an expression, it is a value of Normal (X n , Y n , Z n ) and a point on the plane (X, Y, Z). Assuming that the equation of the face is unknown, projecting the point cloud onto the face (projecting), and solving a linear equation that minimizes the distance between the point clouds and the face, bring the point clouds and pass near the point clouds. You can get noodles. In this way, when the expression of the face is obtained, the size becomes an infinitely large face, so the size of the face including the point clouds is determined in consideration of the point cloud position projected on the face. Subsequently, the control unit 130 determines whether an incomplete area exists in the corresponding unit area based on the result of comparing the number of point clouds included in the preset unit area with the first threshold for the previously determined surface. , When the incomplete region exists, the three-dimensional space model is corrected by reflecting the virtual mesh model generated in step S260 on the surface including the corresponding unit area. As described above, the reason for selecting the surface in the three-dimensional space model as the object of model modification is that a glass window having a transparent material or a mirror having a reflective material is generally formed on a wall surface.

한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S260에서 생성된 가상 메쉬 모델에 단계 S220에서 생성된 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 텍스처 정보가 반영된 가상 메쉬 모델을 입체 공간 모델 내의 불완전 영역을 포함하는 면에 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다.On the other hand, when modifying the three-dimensional space model, the controller 130 reflects the texture information extracted from the matched image generated in step S220 to the virtual mesh model generated in step S260, and the virtual mesh model in which the texture information is reflected is within the three-dimensional space model. By synthesizing and rendering on a surface containing an incomplete region, a three-dimensional spatial model can be modified.

또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S210에서 실제 공간을 촬영하여 획득한 영상을 이용하여 단계 S260에서 생성된 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델 내의 불완전 영역을 포함하는 면을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다. 여기서, 가상 메쉬 모델의 환경맵을 생성할 때에 단계 S210에서 실제 공간을 촬영하여 획득한 영상 이외에 별도로 획득한 영상을 추가로 이용할 수도 있다. 예를 들어, 단계 S210에서 촬영된 영상을 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵(cube map)을 생성해 환경맵으로 사용할 수 있다. 또는, 실제 공간의 외부에서 여러 장의 영상을 추가로 촬영하여 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수도 있다. 이 경우에는 실제 공간의 벽면이 유리창을 포함하는 경우에, 환경맵이 가상 메쉬 모델에 반영되기 때문에 최종 수정된 입체 공간 모델에 실제 공간의 외부 환경(예컨대, 유리창의 굴절에 의한 외부 풍경)이 반영될 수 있다(S270).Alternatively, when modifying the three-dimensional space model, the controller 130 generates an environment map of the virtual mesh model generated in step S260 using the image obtained by photographing the real space in step S210, and reflecting material characteristics in the virtual mesh model Alternatively, the stereoscopic spatial model may be modified by setting a transparent material property and rendering a synthetic mesh and a surface including an incomplete area in the stereoscopic spatial model by reflecting the texture information of the environment map based on the configured property. Here, when generating the environment map of the virtual mesh model, an image obtained separately by acquiring a real space in step S210 may be additionally used. For example, the image captured in step S210 may be connected as a panorama to generate a 360-degree image or a cube map composed of six sides and used as an environment map. Alternatively, multiple images may be additionally photographed from outside of the real space and connected in a panorama to generate a 360-degree image or a cube map composed of six sides and used as an environment map. In this case, when the wall surface of the real space includes a glass window, since the environment map is reflected in the virtual mesh model, the external environment of the real space (for example, the external scenery due to the refraction of the glass window) is reflected in the final modified stereoscopic space model. It can be (S270).

도 8은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 생성된 입체 공간 모델이 단계 S270에 의해 수정되기 전, 즉 단계 S240까지 수행되어 생성된 입체 공간 모델을 예시한 것이고, 도 9는 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 단계 S250 및 S260이 수행되어 생성된 가상 메쉬 모델을 예시한 것이며, 도 10은 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에 의해 도 8의 입체 공간 모델에 도 9의 가상 메쉬 모델이 반영되어 수정된 입체 공간 모델을 예시한 것이다. 도 8에서는 입체 공간 모델의 타원으로 표시된 영역에 불완전 영역이 존재하지만 도 9에서는 타원으로 표시된 동일 영역의 불완전 영역이 제거되었다.FIG. 8 illustrates a three-dimensional space model generated by the three-dimensional space model generated by the three-dimensional model generating apparatus 100 according to an embodiment of the present invention before being modified by step S270, that is, until step S240. 9 illustrates a virtual mesh model generated by performing steps S250 and S260 by the stereoscopic model generating apparatus 100 according to an embodiment of the present invention, and FIG. 10 illustrates a stereoscopic model according to an embodiment of the present invention The virtual mesh model of FIG. 9 is reflected in the three-dimensional space model of FIG. 8 by the generation device 100 to illustrate the modified three-dimensional space model. In FIG. 8, an incomplete region exists in an area indicated by an ellipse in the three-dimensional space model, but in FIG. 9, an incomplete area in the same area indicated by an ellipse is removed.

도 5는 본 발명의 일 실시예에 따른 입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법의 다른 예를 설명하기 위한 흐름도이다.5 is a flowchart for explaining another example of a three-dimensional model generation method performed in the three-dimensional model generating apparatus according to an embodiment of the present invention.

이하, 도 1, 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 입체 모델 생성 장치(100)에서 수행되는 입체 모델 생성 방법의 다른 예에 대해 자세히 살펴보기로 한다. 설명에 앞서, 도 2와 도 5를 비교하여 보면, S210과 S510이 대응하고, S220과 S520이 대응하며, S230과 S530이 대응하고, S240과 S540이 대응하기에, 아래에서는 그 설명을 생략하기로 한다.Hereinafter, another example of a three-dimensional model generation method performed in the three-dimensional model generation apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 3 to 5. Prior to the description, comparing FIGS. 2 and 5, S210 and S510 correspond, S220 and S520 correspond, S230 and S530 correspond, S240 and S540 correspond, and the description thereof will be omitted below. Shall be

단계 S550에서, 제어부(130)는 단계 S540에서 생성된 입체 공간 모델의 불완전 영역을 결정하여야 한다. 이를 위해, 제어부(130)는 디스플레이부(140)로 하여금 단계 S540에서 생성된 입체 공간 모델을 표시하도록 제어하고, 사용자 입력부(120)를 통해 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트가 발생하지는 지를 감시한다. 여기서, 사용자는 사용자 입력부(120)를 통해 입체 공간 모델 중 불완전 영역을 지정해 주는 사용자 인터렉션 이벤트를 발생시켜서 입체 공간 모델의 불완전 영역에 대한 정보를 제어부(130)에 제공할 수 있다. 예컨대, 마우스 등과 같은 좌표지정수단을 이용하여 디스플레이부(140)에 표시 중인 입체 공간 모델 내의 불완전 영역의 경계 좌표를 지정해 줄 수 있으며, 제어부(130)는 불완전 영역의 경계 좌표 지정 값을 사용자 인터렉션 이벤트로서 감지할 수 있다. 이로써, 제어부(130)는 입체 공간 모델의 불완전 영역을 지정하는 사용자 인터렉션 이벤트를 인식한 결과에 기초하여 입체 공간 모델의 불완전 영역을 결정하게 된다(S550).In step S550, the controller 130 should determine the incomplete region of the three-dimensional space model generated in step S540. To this end, the control unit 130 controls the display unit 140 to display the three-dimensional space model generated in step S540, and a user interaction event that designates an incomplete area of the three-dimensional space model through the user input unit 120 occurs Haji monitors. Here, the user may provide the control unit 130 with information on the incomplete area of the three-dimensional space model by generating a user interaction event designating the incomplete area among the three-dimensional space models through the user input unit 120. For example, boundary coordinates of an incomplete area in the three-dimensional space model being displayed on the display unit 140 may be designated using coordinate designation means such as a mouse, and the controller 130 may set a boundary coordinate designation value of the incomplete area to a user interaction event. As can be detected. Accordingly, the controller 130 determines the incomplete area of the three-dimensional space model based on the result of recognizing the user interaction event designating the incomplete area of the three-dimensional space model (S550).

그리고, 제어부(130)는 단계 S550에서 결정된 불완전 영역의 형태를 인식하고, 인식된 형태에 기초하여 단계 S560에서 생성하고자 하는 가상 메쉬 모델의 형태를 결정한다. 예를 들어, 제어부(130)는 불완전 영역에 대한 형태 인식의 결과와 동일하게 가상 메쉬 모델의 형태를 결정하거나 불완전 영역을 모두 포함하는 형태를 가상 메쉬 모델의 형태로 결정할 수 있다. 이어서, 제어부(130)는 앞서 결정된 특정 형태에 대응하는 가상 메쉬 모델을 생성한다. 이때, 제어부(130)는 가상 메쉬 모델을 하나 이상의 메쉬 모델의 정점 또는 하나 이상의 포인트 클라우드를 포함하여 생성한다(S560).Then, the controller 130 recognizes the shape of the incomplete region determined in step S550, and determines the shape of the virtual mesh model to be generated in step S560 based on the recognized shape. For example, the controller 130 may determine the shape of the virtual mesh model in the same manner as the result of shape recognition for the incomplete region or may determine the shape including all the incomplete regions as the shape of the virtual mesh model. Subsequently, the controller 130 generates a virtual mesh model corresponding to the specific shape determined above. At this time, the controller 130 generates a virtual mesh model including one or more vertex or one or more point clouds of the mesh model (S560).

다음으로, 제어부(130)는 단계 S560에서 생성된 가상 메쉬 모델을 단계 S550에서 결정된 입체 공간 모델의 불완전 영역에 반영하여 입체 공간 모델을 수정한다.Next, the controller 130 corrects the three-dimensional space model by reflecting the virtual mesh model generated in step S560 in the incomplete region of the three-dimensional space model determined in step S550.

한편, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S560에서 생성된 가상 메쉬 모델에 단계 S520에서 생성된 정합 영상으로부터 추출한 텍스처 정보를 반영하고, 텍스처 정보가 반영된 가상 메쉬 모델을 입체 공간 모델 내의 불완전 영역에 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다(S570).On the other hand, when modifying the stereoscopic space model, the controller 130 reflects the texture information extracted from the matched image generated in step S520 to the virtual mesh model generated in step S560, and the virtual mesh model in which the texture information is reflected is within the stereoscopic space model. By synthesizing and rendering in an incomplete region, a three-dimensional spatial model can be corrected (S570).

또는, 제어부(130)는 입체 공간 모델을 수정할 때에, 단계 S510에서 실제 공간을 촬영하여 획득한 영상을 이용하여 단계 S560에서 생성된 가상 메쉬 모델의 환경맵을 생성하고, 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하며, 설정된 특성을 기초로 환경맵의 텍스처 정보를 반영해 가상 메쉬 모델과 입체 공간 모델 내의 불완전 영역을 합성하여 렌더링 함으로써, 입체 공간 모델을 수정할 수 있다. 여기서, 가상 메쉬 모델의 환경맵을 생성할 때에 단계 S510에서 실제 공간을 촬영하여 획득한 영상 이외에 별도로 획득한 영상을 추가로 이용할 수도 있다. 예를 들어, 단계 S510에서 촬영된 영상을 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수 있다. 또는, 실제 공간의 외부에서 여러 장의 영상을 추가로 촬영하여 파노라마로 연결해서 360도 영상 혹은 6면으로 구성된 큐브 맵을 생성해 환경맵으로 사용할 수도 있다. 이 경우에는 실제 공간의 벽면이 유리창을 포함하는 경우에, 환경맵이 가상 메쉬 모델에 반영되기 때문에 최종 수정된 입체 공간 모델에 실제 공간의 외부 환경(예컨대, 유리창의 굴절에 의한 외부 풍경)이 반영될 수 있다(S570).Alternatively, when modifying the three-dimensional space model, the controller 130 generates an environment map of the virtual mesh model generated in step S560 using the image obtained by photographing the real space in step S510, and reflecting material characteristics in the virtual mesh model Alternatively, the stereoscopic spatial model may be modified by setting the transparent material characteristics and combining the virtual mesh model and the incomplete regions in the stereoscopic spatial model by reflecting the texture information of the environment map based on the set characteristics. Here, when generating the environment map of the virtual mesh model, an image separately obtained in addition to the image obtained by photographing the real space in step S510 may be additionally used. For example, the image captured in step S510 may be connected as a panorama to generate a 360-degree image or a cube map composed of six sides and used as an environment map. Alternatively, multiple images may be additionally photographed from outside of the real space and connected in a panorama to generate a 360-degree image or a cube map composed of six sides and used as an environment map. In this case, when the wall surface of the real space includes a glass window, since the environment map is reflected in the virtual mesh model, the external environment of the real space (for example, the external scenery due to the refraction of the glass window) is reflected in the final modified stereoscopic space model. It can be (S570).

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상된다.As described so far, according to an embodiment of the present invention, when a stereoscopic space model corresponding to a real space is generated, a virtual mesh model is generated and reflected in an incomplete region of the stereoscopic space model, thereby improving the quality of the stereoscopic space model. The matching rate with the real space is improved.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of each flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed through the processor of a computer or other programmable data processing equipment are described in each step of the flowchart. It creates a means to do them. These computer program instructions can also be stored on a computer-readable or computer-readable recording medium that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular manner, so that it is computer- or computer-readable. It is also possible for the instructions stored in the recording medium to produce an article of manufacture containing instructions means for performing the functions described in each step of the flowchart. Since computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments it is also possible that the functions mentioned in the steps occur out of order. For example, the two steps shown in succession may in fact be performed substantially simultaneously, or it is also possible that the steps are sometimes performed in reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 실제 공간에 대응하는 입체 공간 모델을 생성할 때에 가상 메쉬 모델을 생성하여 입체 공간 모델의 불완전 영역에 반영함으로써, 입체 공간 모델의 품질이 향상되어 실제 공간과의 일치율이 향상된다.According to an embodiment of the present invention, when generating a three-dimensional space model corresponding to a real space, a virtual mesh model is generated and reflected in an incomplete region of the three-dimensional space model, thereby improving the quality of the three-dimensional space model and improving the matching rate with the real space. Improves.

이러한 본 발명은 가상현실(Virtual Reality)을 이용하는 다양한 산업분야에 이용할 수 있다.The present invention can be used in various industrial fields using virtual reality.

100: 입체 모델 생성 장치
110: 정보 획득부
120: 사용자 입력부
130: 제어부
140: 디스플레이부100: three-dimensional model generating device
110: information acquisition unit
120: user input
130: control unit
140: display unit

Claims (13)

입체 모델 생성 장치에서 수행되는 입체 모델 생성 방법으로서,
실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하는 단계와,
특정 형태의 가상 메쉬 모델을 생성하는 단계와,
상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 단계를 포함하는
입체 모델 생성 방법.A method for generating a three-dimensional model performed in a three-dimensional model generating device,
Generating a three-dimensional space model corresponding to the real space based on information about the real space,
Creating a virtual mesh model of a specific shape,
And modifying the three-dimensional space model by reflecting the virtual mesh model in an incomplete region of the three-dimensional space model.
How to create a three-dimensional model. 제 1 항에 있어서,
상기 가상 메쉬 모델을 생성하는 단계는,
상기 입체 공간 모델에 대응하여 상기 특정 형태를 결정하는 단계와,
상기 결정된 특정 형태에 따라 상기 가상 메쉬 모델을 생성하는 단계를 포함하는
입체 모델 생성 방법.According to claim 1,
The step of generating the virtual mesh model,
Determining the specific shape in response to the three-dimensional spatial model,
And generating the virtual mesh model according to the determined specific shape.
How to create a three-dimensional model. 제 2 항에 있어서,
상기 입체 공간 모델을 생성하는 단계는,
상기 실제 공간을 촬영하여 획득한 영상과 상기 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 단계와,
상기 실제 공간에 위치하는 객체를 메쉬 모델로 생성하는 단계와,
상기 메쉬 모델에 상기 정합 영상으로부터 추출한 텍스처 정보를 반영하여 상기 객체에 대한 상기 입체 공간 모델을 생성하는 단계를 포함하고,
상기 가상 메쉬 모델은, 상기 메쉬 모델의 정점 또는 상기 포인트 클라우드를 포함하여 생성하는
입체 모델 생성 방법.According to claim 2,
The step of generating the three-dimensional space model,
Generating a matched image by matching an image obtained by shooting the real space and a point cloud obtained by scanning the real space;
Generating an object located in the real space as a mesh model;
And generating the three-dimensional spatial model for the object by reflecting texture information extracted from the matched image in the mesh model,
The virtual mesh model is generated by including the vertex or the point cloud of the mesh model
How to create a three-dimensional model. 제 3 항에 있어서,
상기 가상 메쉬 모델은, 상기 포인트 클라우드 중 노이즈를 제외한 모든 포인트 클라우드를 둘러싼 형태 또는 상기 메쉬 모델의 정점 중 노이즈를 제외한 모든 정정을 둘러싼 형태로 생성하는
입체 모델 생성 방법.The method of claim 3,
The virtual mesh model is generated in a form surrounding all point clouds except noise among the point clouds or surrounding all corrections except noise among vertices of the mesh model.
How to create a three-dimensional model. 제 4 항에 있어서,
기 설정된 단위 면적에 포함된 상기 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 상기 단위 면적 내의 포인트 클라우드를 노이즈로서 제외하고, 상기 단위 면적에 포함된 상기 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 상기 단위 면적 내의 정점을 노이즈로서 제외하는
입체 모델 생성 방법.The method of claim 4,
Based on the comparison result of the number of point clouds included in the preset unit area and a first threshold value, the point cloud in the unit area is excluded as noise, and the number of vertices of the mesh model included in the unit area The vertex within the unit area is excluded as noise based on the comparison result with the second threshold value.
How to create a three-dimensional model. 제 1 항에 있어서,
상기 가상 메쉬 모델을 생성하는 단계는,
상기 입체 공간 모델의 상기 불완전 영역을 결정하는 단계와,
상기 결정된 불완전 영역의 형태에 기초하여 상기 특정 형태를 결정해서 상기 가상 메쉬 모델을 생성하는 단계를 포함하는
입체 모델 생성 방법.According to claim 1,
The step of generating the virtual mesh model,
Determining the incomplete region of the three-dimensional spatial model,
And determining the specific shape based on the determined shape of the incomplete region to generate the virtual mesh model.
How to create a three-dimensional model. 제 6 항에 있어서,
상기 입체 공간 모델을 생성하는 단계는,
상기 실제 공간을 촬영하여 획득한 영상과 상기 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 정합하여 정합 영상을 생성하는 단계와,
상기 실제 공간에 위치하는 객체를 메쉬 모델로 생성하는 단계와,
상기 메쉬 모델에 상기 정합 영상으로부터 추출한 텍스처 정보를 반영하여 상기 객체에 대한 상기 입체 공간 모델을 생성하는 단계를 포함하고,
상기 가상 메쉬 모델은, 상기 메쉬 모델의 정점 또는 상기 포인트 클라우드를 포함하여 생성하는
입체 모델 생성 방법.The method of claim 6,
The step of generating the three-dimensional space model,
Generating a matched image by matching an image obtained by shooting the real space and a point cloud obtained by scanning the real space;
Generating an object located in the real space as a mesh model;
And generating the three-dimensional spatial model for the object by reflecting texture information extracted from the matched image in the mesh model,
The virtual mesh model is generated by including the vertex or the point cloud of the mesh model
How to create a three-dimensional model. 제 7 항에 있어서,
상기 불완전 영역을 결정하는 단계는, 기 설정된 단위 면적에 포함된 상기 포인트 클라우드의 수와 제 1 임계값과의 비교 결과에 기초하여 결정하거나, 상기 단위 면적에 포함된 상기 메쉬 모델의 정점의 수와 제 2 임계값과의 비교 결과에 기초하여 결정하는
입체 모델 생성 방법.The method of claim 7,
The determining of the incomplete region may be determined based on a comparison result of the number of point clouds included in a preset unit area and a first threshold value, or the number of vertices of the mesh model included in the unit area. Determine based on the result of comparison with the second threshold
How to create a three-dimensional model. 제 3 항 또는 제 6 항에 있어서,
상기 입체 공간 모델을 수정하는 단계는,
상기 가상 메쉬 모델에 상기 텍스처 정보를 반영하는 단계와,
상기 가상 메쉬 모델과 상기 입체 공간 모델을 합성하여 렌더링하는 단계를 포함하는
입체 모델 생성 방법.The method of claim 3 or 6,
The step of modifying the three-dimensional space model,
Reflecting the texture information in the virtual mesh model,
And synthesizing and rendering the virtual mesh model and the three-dimensional space model.
How to create a three-dimensional model. 제 3 항 또는 제 6 항에 있어서,
상기 입체 공간 모델을 수정하는 단계는,
상기 실제 공간을 촬영하여 획득한 영상을 이용하여 상기 가상 메쉬 모델의 환경맵을 생성하는 단계와,
상기 가상 메쉬 모델에 반사재질 특성 또는 투명 재질 특성을 설정하는 단계와,
상기 설정된 특성을 기초로 상기 환경맵의 텍스처 정보를 반영해 상기 가상 메쉬 모델과 상기 입체 공간 모델을 합성하여 렌더링하는 단계를 포함하는
입체 모델 생성 방법.The method of claim 3 or 6,
The step of modifying the three-dimensional space model,
Generating an environment map of the virtual mesh model using an image obtained by photographing the real space;
Setting reflective material properties or transparent material properties in the virtual mesh model;
And synthesizing and rendering the virtual mesh model and the three-dimensional space model by reflecting texture information of the environment map based on the set characteristics.
How to create a three-dimensional model. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 입체 모델 생성 방법에 따른 각각의 단계를 수행하는
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.Performing each step according to the three-dimensional model generation method according to any one of claims 1 to 8
A computer program stored on a computer readable recording medium. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 입체 모델 생성 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는
컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록매체.Claim 1 to 8 comprising instructions for performing each step according to the three-dimensional model generation method according to any one of claims
A computer-readable recording medium in which a computer program is recorded. 실제 공간에 대한 정보를 획득하는 정보 획득부와,
상기 실제 공간에 대한 정보를 기초로 상기 실제 공간에 대응하는 입체 공간 모델을 생성하고, 특정 형태의 가상 메쉬 모델을 생성하며, 상기 가상 메쉬 모델을 상기 입체 공간 모델의 불완전 영역에 반영하여 상기 입체 공간 모델을 수정하는 제어부를 포함하는
입체 모델 생성 장치.

An information acquisition unit that acquires information about a real space,
Based on the information on the real space, a three-dimensional space model corresponding to the real space is generated, a virtual mesh model of a specific shape is generated, and the virtual mesh model is reflected in an incomplete region of the three-dimensional space model to reflect the three-dimensional space. Including a control unit for modifying the model
Three-dimensional model generating device.

KR1020180123380A 2018-10-16 2018-10-16 3d model producing method and apparatus KR102163389B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180123380A KR102163389B1 (en) 2018-10-16 2018-10-16 3d model producing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180123380A KR102163389B1 (en) 2018-10-16 2018-10-16 3d model producing method and apparatus

Publications (2)

Publication Number Publication Date
KR20200042781A true KR20200042781A (en) 2020-04-24
KR102163389B1 KR102163389B1 (en) 2020-10-08

Family

ID=70465983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180123380A KR102163389B1 (en) 2018-10-16 2018-10-16 3d model producing method and apparatus

Country Status (1)

Country Link
KR (1) KR102163389B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074674A (en) * 2020-11-27 2022-06-03 한국전자통신연구원 Apparatus and method for generating 3d data
WO2023096037A1 (en) * 2021-11-23 2023-06-01 주식회사 모라이 Device for generating real-time lidar data in virtual environment and control method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220129759A (en) 2021-03-17 2022-09-26 주식회사 케이티 Device, method and computer program for managing a plurality of single space models

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098256A (en) * 2004-09-30 2006-04-13 Ricoh Co Ltd Three-dimensional surface model preparing system, image processing system, program, and information recording medium
KR20130010615A (en) * 2011-07-19 2013-01-29 삼성전자주식회사 Method and apparatus for obtaining informaiton of lighting and material in image modeling system
KR20130094015A (en) * 2012-02-15 2013-08-23 한국전자통신연구원 Apparatus and method for producing 3d model
KR101572618B1 (en) 2014-10-16 2015-12-02 연세대학교 산학협력단 Apparatus and method for simulating lidar
JP2017182434A (en) * 2016-03-30 2017-10-05 沖電気工業株式会社 Data processor, data processing program, and data processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006098256A (en) * 2004-09-30 2006-04-13 Ricoh Co Ltd Three-dimensional surface model preparing system, image processing system, program, and information recording medium
KR20130010615A (en) * 2011-07-19 2013-01-29 삼성전자주식회사 Method and apparatus for obtaining informaiton of lighting and material in image modeling system
KR20130094015A (en) * 2012-02-15 2013-08-23 한국전자통신연구원 Apparatus and method for producing 3d model
KR101572618B1 (en) 2014-10-16 2015-12-02 연세대학교 산학협력단 Apparatus and method for simulating lidar
JP2017182434A (en) * 2016-03-30 2017-10-05 沖電気工業株式会社 Data processor, data processing program, and data processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074674A (en) * 2020-11-27 2022-06-03 한국전자통신연구원 Apparatus and method for generating 3d data
WO2023096037A1 (en) * 2021-11-23 2023-06-01 주식회사 모라이 Device for generating real-time lidar data in virtual environment and control method thereof

Also Published As

Publication number Publication date
KR102163389B1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
CN109118569B (en) Rendering method and device based on three-dimensional model
EP3392831B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
KR102120046B1 (en) How to display objects
KR101556992B1 (en) 3d scanning system using facial plastic surgery simulation
CN108286945B (en) Three-dimensional scanning system and method based on visual feedback
CN110377148B (en) Computer readable medium, method of training object detection algorithm, and training apparatus
CN107493428A (en) Filming control method and device
KR102163389B1 (en) 3d model producing method and apparatus
JP6073858B2 (en) Face position detection
JP2008537190A (en) Generation of three-dimensional image of object by irradiating with infrared pattern
EP3200451A1 (en) Projector optimization method and system
US10789784B2 (en) Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
CN109064533B (en) 3D roaming method and system
JP6552266B2 (en) Image processing apparatus, image processing method, and program
JP6541920B1 (en) INFORMATION PROCESSING APPARATUS, PROGRAM, AND INFORMATION PROCESSING METHOD
CN110889426A (en) Three-dimensional expression generation system
CN111382618A (en) Illumination detection method, device, equipment and storage medium for face image
JP2016109671A (en) Three-dimensional measuring apparatus and control method therefor
CN110880161A (en) Depth image splicing and fusing method and system for multi-host multi-depth camera
US20130194254A1 (en) Image processing apparatus, image processing method and program
WO2019150431A1 (en) Information processing device
KR101817756B1 (en) PTM making system based on 3D model with interactive viewpoint control and method using the same
KR101690256B1 (en) Method and apparatus for processing image
KR101817753B1 (en) PTM making system with improved shape of 3D model and method using the same

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)