KR102633159B1 - Apparatus and method for restoring 3d-model using the image-processing - Google Patents
Apparatus and method for restoring 3d-model using the image-processing Download PDFInfo
- Publication number
- KR102633159B1 KR102633159B1 KR1020160169346A KR20160169346A KR102633159B1 KR 102633159 B1 KR102633159 B1 KR 102633159B1 KR 1020160169346 A KR1020160169346 A KR 1020160169346A KR 20160169346 A KR20160169346 A KR 20160169346A KR 102633159 B1 KR102633159 B1 KR 102633159B1
- Authority
- KR
- South Korea
- Prior art keywords
- points
- image
- model
- point cloud
- image processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007670 refining Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000000746 purification Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 이미지 프로세싱을 이용한 3차원 모델 복원 장치의 3차원 모델 복원 방법에 있어서, 3차원 모델을 복원할 객체를 촬영한 이미지를 입력 받아 상기 이미지의 특징점을 검색하여 포인트 클라우드(Point Cloud)를 생성하는 단계; 이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제하는 단계; 상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성하는 단계 및 상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원하는 단계를 포함한다.An apparatus and method for restoring a 3D model using image processing are disclosed. A 3D model restoration method using image processing according to an embodiment of the present invention is a 3D model restoration method of a 3D model restoration device using image processing, by receiving an image of an object for which a 3D model is to be restored. Generating a point cloud by searching feature points of the image; refining the point cloud using an image processing algorithm; It includes generating a 3D mesh using the refined point cloud and mapping a 3D texture created using the 3D mesh to the image to restore the 3D model.
Description
본 발명은 이미지 프로세싱 기술에 관한 것으로, 보다 상세하게는 이미지 프로세싱을 이용한 3차원 모델 복원 기술에 관한 것이다.The present invention relates to image processing technology, and more specifically, to 3D model restoration technology using image processing.
근래 VR, AR의 발달과 각종 디바이스의 발달로 3차원 모델을 기반으로 한 다양한 어플리케이션이 개발되고 있고 사용자의 수요와 기대치는 점차 확대되고 있다. 나아가, 이러한 다양한 어플리케이션에서 활용될 3차원 지형 모델의 필요성이 커지고 있다.Recently, with the development of VR and AR and various devices, various applications based on 3D models are being developed, and user demand and expectations are gradually expanding. Furthermore, the need for 3D terrain models to be used in these various applications is increasing.
현재 3차원 모델 복원 시스템은 복원될 지형을 촬영하고 촬영된 이미지를 기반으로 point cloud(포인트 클라우드)를 생성하고, point cloud를 기반으로 메쉬화하고 텍스쳐를 매핑하여 3차원 지형 모델을 생성하는 과정을 통해서 이루어지고 있다. The current 3D model restoration system involves the process of photographing the terrain to be restored, creating a point cloud based on the captured image, meshing the point cloud, and mapping the texture to create a 3D terrain model. It is being done through.
하지만 기존의 방법으로는 촬영된 이미지를 기반으로 하기 때문에 포인트의 정확성이 떨어질 수 있고, 노이즈가 많아 복원이 완벽하지 않을 수 있다.However, because the existing method is based on captured images, the accuracy of the points may be low and there is a lot of noise, so restoration may not be perfect.
따라서, 효율적인 3차원 지형 복원을 위해서 기존의 이미지 프로세싱 기법을 이용하여point cloud 정제를 통한 노이즈 제거가 필요하고, 실시간으로 렌더링하기 위해 포인트들의 그룹화가 필요하다.Therefore, for efficient 3D terrain restoration, noise removal through point cloud refinement is necessary using existing image processing techniques, and grouping of points is necessary for real-time rendering.
한편, 한국공개특허 제 10-2013-0094015 호" 입체 모델 생성 장치 및 방법"는 3차원 스캐닝을 통해 획득한 포인트 클라우드와 영상을 이용하여 정적인 배경의 3차원 모델을 생성하는 입체 모델 생성 장치 및 방법에 관한 것으로, 대용량 3차원 포인트 클라우드와 영상을 정합하여 3차원 모델을 제공하는 장치 및 방법을 개시하고 있다.Meanwhile, Korean Patent Publication No. 10-2013-0094015 “Stereoscopic model generation device and method” is a three-dimensional model generation device that generates a three-dimensional model of a static background using point clouds and images obtained through three-dimensional scanning, and Regarding a method, an apparatus and method for providing a 3D model by matching a large-capacity 3D point cloud and an image are disclosed.
그러나, 한국공개특허 제 10-2013-0094015 호는 이미지 프로세싱 기법을 이용하여 보다 효율적인 3차원 포인트를 정제하는 방법은 고려하지 않고 있다.However, Korean Patent Publication No. 10-2013-0094015 does not consider a more efficient method of refining 3D points using image processing techniques.
본 발명은 3차원 모델 복원에 있어 전술한 종래 기술의 문제점을 해결하기 위하여, 복원 과정에서 이미지 프로세싱 기법을 활용하여 복원의 품질을 높이는 방법을 제공하는 것을 목적으로 한다.The purpose of the present invention is to provide a method of improving the quality of restoration by utilizing image processing techniques in the restoration process in order to solve the problems of the prior art described above in 3D model restoration.
또한, 본 발명은 이미지로부터 3차원 모델을 복원할 때, 포인트 클라우드(Point Cloud)를 정제하여 보다 정확한 3차원 모델을 생성하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to create a more accurate 3D model by refining the point cloud when restoring a 3D model from an image.
또한, 본 발명은 3차원 모델을 가시화함에 있어서, 보다 정확한 3차원 모델을 제공하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to provide a more accurate 3D model when visualizing the 3D model.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 이미지 프로세싱을 이용한 3차원 모델 복원 장치의 3차원 모델 복원 방법에 있어서, 3차원 모델을 복원할 객체를 촬영한 이미지를 입력 받아 상기 이미지의 특징점을 검색하여 포인트 클라우드(Point Cloud)를 생성하는 단계; 이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제하는 단계; 상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성하는 단계 및 상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원하는 단계를 포함한다.In order to achieve the above object, a 3D model restoration method using image processing according to an embodiment of the present invention includes: an object to restore a 3D model; receiving a captured image and searching for feature points of the image to generate a point cloud; refining the point cloud using an image processing algorithm; It includes generating a 3D mesh using the refined point cloud and mapping a 3D texture created using the 3D mesh to the image to restore the 3D model.
본 발명은 3차원 모델 복원에 있어 전술한 종래 기술의 문제점을 해결하기 위하여, 복원 과정에서 이미지 프로세싱 기법을 활용하여 복원의 품질을 높이는 방법을 제공할 수 있다.In order to solve the problems of the prior art described above in 3D model restoration, the present invention can provide a method of improving the quality of restoration by utilizing image processing techniques in the restoration process.
또한, 본 발명은 이미지로부터 3차원 모델을 복원할 때, 포인트 클라우드(Point Cloud)를 정제하여 보다 정확한 3차원 모델을 생성할 수 있다.Additionally, the present invention can generate a more accurate 3D model by refining the point cloud when restoring a 3D model from an image.
또한, 본 발명은 3차원 모델을 가시화함에 있어서, 보다 정확한 3차원 모델을 제공할 수 있다.Additionally, the present invention can provide a more accurate 3D model when visualizing the 3D model.
도 1은 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법을 나타낸 동작흐름도이다.
도 2는 도 1에 도시된 포인트 정제 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 3은 본 발명의 일실시예에 따른 포인트 클라우드(Point Cloud)를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 노이즈가 포함된 포인트 클라우드를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 엣지 디텍션을 이용하여 포인트를 정제하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 컬러 세그먼트를 수행하여 포인트가 구분된 것을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 장치를 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.Figure 1 is an operation flowchart showing a 3D model restoration method using image processing according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating in detail an example of the point refining step shown in FIG. 1.
Figure 3 is a diagram showing a point cloud according to an embodiment of the present invention.
Figure 4 is a diagram showing a point cloud including noise according to an embodiment of the present invention.
Figure 5 is a diagram showing the process of refining points using edge detection according to an embodiment of the present invention.
Figure 6 is a diagram showing points being divided by performing color segmentation according to an embodiment of the present invention.
Figure 7 is a block diagram showing a 3D model restoration device using image processing according to an embodiment of the present invention.
Figure 8 is a block diagram showing a computer system according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the attached drawings as follows. Here, repeated descriptions, known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법을 나타낸 동작흐름도이다.Figure 1 is an operation flowchart showing a 3D model restoration method using image processing according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 포인트 클라우드를 생성할 수 있다(S110).Referring to FIG. 1, the 3D model restoration method using image processing according to an embodiment of the present invention can generate a point cloud (S110).
즉, 단계(S110)는 3차원 모델을 복원할 객체를 촬영한 이미지를 입력 받아 상기 이미지의 특징점을 검색하여 포인트 클라우드(Point Cloud)를 생성할 수 있다.That is, in step S110, a point cloud can be generated by receiving an image of an object for which a 3D model is to be restored and searching for feature points of the image.
이미지 수집은 드론 촬영, 항공 촬영 등 다양한 방법을 이용하여 3차원 모델을 복원할 객체를 촬영할 수 있다.Image collection can be done using a variety of methods, such as drone photography and aerial photography, to photograph objects to restore a 3D model.
복원할 객체는 3차원 모델로 복원할 지도, 지형, 지물, 건물 등에 상응할 수 있다.Objects to be restored may correspond to maps, terrain, features, buildings, etc. to be restored as 3D models.
이 때, 단계(S110)는 카메라 트래킹 기법을 이용하여 상기 이미지에서 특징점을 검색할 수 있다.At this time, step S110 can search for feature points in the image using a camera tracking technique.
이 때, 단계(S110)는 검색된 특징점들을 이용하여 포인트 클라우드(Point Cloud)를 생성할 수 있다.At this time, step S110 may generate a point cloud using the searched feature points.
이 때, 생성된 포인트 클라우드는 수만 개에서 수백만 개의 포인트들을 포함할 수 있다.At this time, the generated point cloud may include tens of thousands to millions of points.
이 때, 단계(S110)는 포인트 클라우드의 정확도와 신뢰도를 향상시키기 위하여 포인트(Point)들에 대한 가중치 설정한 가중치 정보를 생성할 수 있다.At this time, step S110 may generate weight information that sets weights for points in order to improve the accuracy and reliability of the point cloud.
또한, 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 포인트를 정제할 수 있다(S120).Additionally, the 3D model restoration method using image processing according to an embodiment of the present invention can refine points (S120).
즉, 단계(S120)는 이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제할 수 있다.That is, step S120 may refine the point cloud using an image processing algorithm.
단계(S120)는 먼저 엣지 디텍션(Edge Detection)에 기반하여 포인트를 수정할 수 있다(S121).Step (S120) can first modify the point based on edge detection (S121).
즉, 단계(S121)는 이미지에서 윤곽선(Edge)을 추출할 수 있다.That is, step S121 can extract an edge from the image.
이 때, 단계(S121)는 추출한 윤곽선에 상응하는 포인트를 정제할 수 있다.At this time, step S121 may refine the points corresponding to the extracted contour.
이 때, 단계(S121)는 정제된 포인트에 가중치를 설정하여 포인트가 삭제되지 않게 설정할 수 있다.At this time, step S121 can set a weight to the refined point to prevent the point from being deleted.
예를 들어, 단계(S121)는 3차원 지형 모델의 경우, 윤곽선을 삭제하지 못하게 설정하면, 최종 생성된 3차원 지형 모델에서 건물 단위 또는 지물 단위로 대상을 윤곽선을 통해 구분할 수 있다.For example, in step S121, in the case of a 3D terrain model, if the outline is set to not be deleted, the object can be distinguished on a building or feature basis through the outline in the final generated 3D terrain model.
실제로 포인트 클라우드는 중복되는 포인트가 많고, 노이즈로 보이는 포인트도 많은 부문을 포함하고 있다.In reality, the point cloud contains many overlapping points and includes many points that appear to be noise.
따라서, 단계(S121)는 이미지에서 윤곽선(Edge)을 추출한 후, 윤곽선을 기준으로 포인트를 정제하여 그룹핑할 수도 있다.Therefore, in step S121, after extracting the outline (edge) from the image, points may be refined and grouped based on the outline.
이 때, 단계(S121)는 윤곽선을 살짝 벗어나는 포인트를 윤곽선의 위치로 이동시켜 보정하는 것으로, 메쉬 생성에 있어서 3차원 모델의 윤곽선이 더 잘 드러날 수 있다.At this time, step S121 is to correct points that slightly deviate from the outline by moving them to the position of the outline, so that the outline of the three-dimensional model can be better revealed when creating a mesh.
또한, 단계(S120)는 컬러 세그먼트에 기반하여 포인트를 수정할 수 있다(S122).Additionally, step S120 may modify the point based on the color segment (S122).
즉, 단계(S122)는 컬러 세그먼트(Color Segmentation)에 기반하여 이미지의 영역을 구분하고, 영역 내의 포인트보다 영역을 구분하는 포인트에 더 많은 가중치를 설정하여 가중치 정보를 생성할 수 있다.That is, in step S122, weight information can be generated by dividing the image area based on color segmentation and setting more weight to the points that separate the area than to the points within the area.
이 때, 단계(S122)는 칼라 RGB 값에 기반하여 이미지의 영역을 구분할 수 있다.At this time, step S122 may distinguish areas of the image based on color RGB values.
예를 들어, 단계(S122)는 3차원 지형 모델 생성에 있어서, 수목과 건물 등을 구분하거나 건물과 건물을 구분할 때 컬러 세그먼트 기법을 사용할 수 있다.For example, in step S122, a color segment technique can be used to distinguish between trees and buildings or between buildings when creating a 3D terrain model.
또한, 단계(S120)는 수정된 포인트들을 그룹핑 할 수 있다(S123).Additionally, step S120 may group the modified points (S123).
즉, 단계(S123)는 엣지 디텍션 기법과 컬러 세그먼트 기법에 의해 가중치가 설정된 포인트와, 가중치가 설정되지 않은 포인트를 각각 그룹핑할 수 있다.That is, step S123 can group points for which weights are set and points for which weights are not set by the edge detection technique and the color segment technique, respectively.
이 때, 단계(S123)는 포인트에 레벨을 설정하여 3차원 모델을 생성하고자 할 때, 가중치가 낮은 포인트는 생략할 수 있다.At this time, when attempting to create a 3D model by setting levels at points in step S123, points with low weights can be omitted.
또한, 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 메쉬를 생성할 수 있다(S130).Additionally, the 3D model restoration method using image processing according to an embodiment of the present invention can generate a mesh (S130).
즉, 단계(S130)는 상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성할 수 있다.That is, step S130 can generate a 3D mesh using the refined point cloud.
또한, 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 방법은 텍스처를 생성할 수 있다(S140).Additionally, the 3D model restoration method using image processing according to an embodiment of the present invention can generate a texture (S140).
즉, 단계(S140)는 상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원할 수 있다.That is, in step S140, the 3D model can be restored by mapping the 3D texture generated using the 3D mesh to the image.
이렇게 생성된 3차원 모델은 어플리케이션에 따라서 3차원 지형 모델 등으로 가시화 될 수 있다.The 3D model created in this way can be visualized as a 3D terrain model, etc. depending on the application.
도 2는 도 1에 도시된 포인트 정제 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.FIG. 2 is a detailed operational flowchart illustrating an example of the point refining step shown in FIG. 1.
도 2를 참조하면, 단계(S120)는 먼저 엣지 디텍션(Edge Detection)에 기반하여 포인트를 수정할 수 있다(S121).Referring to FIG. 2, in step S120, the point may first be modified based on edge detection (S121).
즉, 단계(S121)는 이미지에서 윤곽선(Edge)을 추출할 수 있다.That is, step S121 can extract an edge from the image.
이 때, 단계(S121)는 추출한 윤곽선에 상응하는 포인트를 정제할 수 있다.At this time, step S121 may refine the points corresponding to the extracted contour.
이 때, 단계(S121)는 정제된 포인트에 가중치를 설정하여 포인트가 삭제되지 않게 설정할 수 있다.At this time, step S121 can set a weight to the refined point to prevent the point from being deleted.
예를 들어, 단계(S121)는 3차원 지형 모델의 경우, 윤곽선을 삭제하지 못하게 설정하면, 최종 생성된 3차원 지형 모델에서 건물 단위 또는 지물 단위로 대상을 윤곽선을 통해 구분할 수 있다.For example, in step S121, in the case of a 3D terrain model, if the outline is set to not be deleted, the object can be distinguished on a building or feature basis through the outline in the final generated 3D terrain model.
실제로 포인트 클라우드는 중복되는 포인트가 많고, 노이즈로 보이는 포인트도 많은 부문을 포함하고 있다.In reality, the point cloud contains many overlapping points and includes many points that appear to be noise.
따라서, 단계(S121)는 이미지에서 윤곽선(Edge)을 추출한 후, 윤곽선을 기준으로 포인트를 정제하여 그룹핑할 수도 있다.Therefore, in step S121, after extracting the outline (edge) from the image, points may be refined and grouped based on the outline.
이 때, 단계(S121)는 윤곽선을 살짝 벗어나는 포인트를 윤곽선의 위치로 이동시켜 보정하는 것으로, 메쉬 생성에 있어서 3차원 모델의 윤곽선이 더 잘 드러날 수 있다.At this time, step S121 is to correct points that slightly deviate from the outline by moving them to the position of the outline, so that the outline of the three-dimensional model can be better revealed when creating a mesh.
또한, 단계(S120)는 컬러 세그먼트에 기반하여 포인트를 수정할 수 있다(S122).Additionally, step S120 may modify the point based on the color segment (S122).
즉, 단계(S122)는 컬러 세그먼트(Color Segmentation)에 기반하여 이미지의 영역을 구분하고, 영역 내의 포인트보다 영역을 구분하는 포인트에 더 많은 가중치를 설정하여 가중치 정보를 생성할 수 있다.That is, in step S122, weight information can be generated by dividing the image area based on color segmentation and setting more weight to the points that separate the area than to the points within the area.
이 때, 단계(S122)는 칼라 RGB 값에 기반하여 이미지의 영역을 구분할 수 있다.At this time, step S122 may distinguish areas of the image based on color RGB values.
예를 들어, 단계(S122)는 3차원 지형 모델 생성에 있어서, 수목과 건물 등을 구분하거나 건물과 건물을 구분할 때 컬러 세그먼트 기법을 사용할 수 있다.For example, in step S122, a color segment technique can be used to distinguish between trees and buildings or between buildings when creating a 3D terrain model.
또한, 단계(S120)는 수정된 포인트들을 그룹핑 할 수 있다(S123).Additionally, step S120 may group the modified points (S123).
즉, 단계(S123)는 엣지 디텍션 기법과 컬러 세그먼트 기법에 의해 가중치가 설정된 포인트와, 가중치가 설정되지 않은 포인트를 각각 그룹핑할 수 있다.That is, step S123 can group points for which weights are set and points for which weights are not set by the edge detection technique and the color segment technique, respectively.
이 때, 단계(S123)는 포인트에 레벨을 설정하여 3차원 모델을 생성하고자 할 때, 가중치가 낮은 포인트는 생략할 수 있다.At this time, when attempting to create a 3D model by setting levels at points in step S123, points with low weights can be omitted.
도 3은 본 발명의 일실시예에 따른 포인트 클라우드(Point Cloud)를 나타낸 도면이다.Figure 3 is a diagram showing a point cloud according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일실시예에 따라 생성된 포인트 클라우드를 나타낸 것을 알 수 있다.Referring to Figure 3, it can be seen that a point cloud generated according to an embodiment of the present invention is shown.
도 3에 도시된 포인트 클라우드는 적게는 수 만개에서 많게는 수백만 개 이상의 포인트를 포함하는 것을 알 수 있다.It can be seen that the point cloud shown in FIG. 3 includes from tens of thousands to millions of points.
도 4는 본 발명의 일실시예에 따른 노이즈가 포함된 포인트 클라우드를 나타낸 도면이다.Figure 4 is a diagram showing a point cloud including noise according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일실시예에 따른 노이즈가 포함된 포인트 클라우드가 생성된 것을 알 수 있다.Referring to FIG. 4, it can be seen that a point cloud containing noise has been created according to an embodiment of the present invention.
따라서, 본 발명에서는 엣지 디텍션 기법을 이용하여 포인트를 수정하여 포인트를 정제하고 메쉬를 생성할 때 윤곽선이 더 잘 드러날 수 있도록 3차원 모델을 생성할 수 있다.Therefore, in the present invention, a 3D model can be created so that the outline can be better revealed when refining the points and creating a mesh by modifying the points using an edge detection technique.
도 5는 본 발명의 일실시예에 따른 엣지 디텍션을 이용하여 포인트를 정제하는 과정을 나타낸 도면이다.Figure 5 is a diagram showing the process of refining points using edge detection according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일실시예에 따른 엣지 디텍션 기법을 이용하여 윤곽선(Edge)을 중심에서 벗어난 포인트들을 윤곽선의 위치로 이동시키는 것을 알 수 있다.Referring to FIG. 5, it can be seen that points that deviate from the center of the outline (Edge) are moved to the position of the outline using an edge detection technique according to an embodiment of the present invention.
따라서, 윤곽선의 위치로 포인트들이 이동되기 때문에, 윤곽선이 더 잘 드러나게 되는 것을 알 수 있다.Therefore, since the points are moved to the position of the outline, it can be seen that the outline becomes more visible.
도 6은 본 발명의 일실시예에 따른 컬러 세그먼트를 수행하여 포인트가 구분된 것을 나타낸 도면이다.Figure 6 is a diagram showing points being divided by performing color segmentation according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일실시예에 따른 컬러 세그먼트 기법을 이용하여 컬러 RGB에 기반하여 이미지의 영역이 구분된 것을 알 수 있다.Referring to FIG. 6, it can be seen that the image area is divided based on color RGB using the color segment technique according to an embodiment of the present invention.
도 7은 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 장치를 나타낸 블록도이다.Figure 7 is a block diagram showing a 3D model restoration device using image processing according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 일실시예에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 장치는 포인트 클라우드 생성부(210), 포인트 정제부(220) 및 3차원 모델 생성부(230)를 포함한다.Referring to FIG. 7, the 3D model restoration device using image processing according to an embodiment of the present invention includes a
포인트 클라우드 생성부(210)는 3차원 모델을 복원할 객체를 촬영한 이미지를 입력 받아 상기 이미지의 특징점을 검색하여 포인트 클라우드(Point Cloud)를 생성할 수 있다.The
이미지 수집은 드론 촬영, 항공 촬영 등 다양한 방법을 이용하여 3차원 모델을 복원할 객체를 촬영할 수 있다.Image collection can be done using a variety of methods, such as drone photography and aerial photography, to photograph objects to restore a 3D model.
복원할 객체는 3차원 모델로 복원할 지도, 지형, 지물, 건물 등에 상응할 수 있다.Objects to be restored may correspond to maps, terrain, features, buildings, etc. to be restored as 3D models.
이 때, 포인트 클라우드 생성부(210)는 카메라 트래킹 기법을 이용하여 상기 이미지에서 특징점을 검색할 수 있다.At this time, the
이 때, 포인트 클라우드 생성부(210)는 검색된 특징점들을 이용하여 포인트 클라우드(Point Cloud)를 생성할 수 있다.At this time, the
이 때, 생성된 포인트 클라우드는 수만 개에서 수백만 개의 포인트들을 포함할 수 있다.At this time, the generated point cloud may include tens of thousands to millions of points.
이 때, 포인트 클라우드 생성부(210)는 포인트 클라우드의 정확도와 신뢰도를 향상시키기 위하여 포인트(Point)들에 대한 가중치 설정한 가중치 정보를 생성할 수 있다.At this time, the
포인트 정제부(220)는 이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제할 수 있다.The
포인트 정제부(220)는 먼저 엣지 디텍션(Edge Detection)에 기반하여 포인트를 수정할 수 있다.The
즉, 포인트 정제부(220)는 이미지에서 윤곽선(Edge)을 추출할 수 있다.That is, the
이 때, 포인트 정제부(220)는 추출한 윤곽선에 상응하는 포인트를 정제할 수 있다.At this time, the
이 때, 포인트 정제부(220)는 정제된 포인트에 가중치를 설정하여 포인트가 삭제되지 않게 설정할 수 있다.At this time, the
예를 들어, 포인트 정제부(220)는 3차원 지형 모델의 경우, 윤곽선을 삭제하지 못하게 설정하면, 최종 생성된 3차원 지형 모델에서 건물 단위 또는 지물 단위로 대상을 윤곽선을 통해 구분할 수 있다.For example, if the
실제로 포인트 클라우드는 중복되는 포인트가 많고, 노이즈로 보이는 포인트도 많은 부문을 포함하고 있다.In reality, the point cloud contains many overlapping points and includes many points that appear to be noise.
따라서, 포인트 정제부(220)는 이미지에서 윤곽선(Edge)을 추출한 후, 윤곽선을 기준으로 포인트를 정제하여 그룹핑할 수도 있다.Accordingly, the
이 때, 포인트 정제부(220)는 윤곽선을 살짝 벗어나는 포인트를 윤곽선의 위치로 이동시켜 보정하는 것으로, 메쉬 생성에 있어서 3차원 모델의 윤곽선이 더 잘 드러날 수 있다.At this time, the
또한, 포인트 정제부(220)는 컬러 세그먼트(Color Segmentation)에 기반하여 이미지의 영역을 구분하고, 영역 내의 포인트보다 영역을 구분하는 포인트에 더 많은 가중치를 설정하여 가중치 정보를 생성할 수 있다.Additionally, the
이 때, 포인트 정제부(220)는 칼라 RGB 값에 기반하여 이미지의 영역을 구분할 수 있다.At this time, the
예를 들어, 포인트 정제부(220)는 3차원 지형 모델 생성에 있어서, 수목과 건물 등을 구분하거나 건물과 건물을 구분할 때 컬러 세그먼트 기법을 사용할 수 있다.For example, the
또한, 포인트 정제부(220)는 엣지 디텍션 기법과 컬러 세그먼트 기법에 의해 가중치가 설정된 포인트와, 가중치가 설정되지 않은 포인트를 각각 그룹핑할 수 있다.Additionally, the
이 때, 포인트 정제부(220)는 포인트에 레벨을 설정하여 3차원 모델을 생성하고자 할 때, 가중치가 낮은 포인트는 생략할 수 있다.At this time, when the
3차원 모델 생성부(230)는 상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성할 수 있다.The
이 때, 3차원 모델 생성부(230)는 상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원할 수 있다.At this time, the
이렇게 생성된 3차원 모델은 어플리케이션에 따라서 3차원 지형 모델 등으로 가시화 될 수 있다.The 3D model created in this way can be visualized as a 3D terrain model, etc. depending on the application.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.Figure 8 is a block diagram showing a computer system according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 8, embodiments of the present invention may be implemented in a computer system 1100 such as a computer-readable recording medium. As shown in FIG. 8, the computer system 1100 includes one or more processors 1110, a memory 1130, a user interface input device 1140, and a user interface output device 1150 that communicate with each other through a bus 1120. and storage 1160. Additionally, the computer system 1100 may further include a network interface 1170 connected to the network 1180. The processor 1110 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 1130 or storage 1160. Memory 1130 and storage 1160 may be various types of volatile or non-volatile storage media. For example, memory may include ROM 1131 or RAM 1132.
이상에서와 같이 본 발명에 따른 이미지 프로세싱을 이용한 3차원 모델 복원 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the 3D model restoration device and method using image processing according to the present invention is not limited to the configuration and method of the embodiments described above, and the embodiments can be modified in various ways. All or part of each embodiment may be configured by selectively combining them.
210: 포인트 클라우드 생성부
220: 포인트 정제부
230: 3차원 모델 생성부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크210: Point cloud generation unit
220: Point purification unit
230: 3D model creation unit
1100: computer system 1110: processor
1120: Bus 1130: Memory
1131: Romans 1132: Ram
1140: User interface input device
1150: User interface output device
1160: Storage 1170: Network Interface
1180: network
Claims (10)
3차원 모델을 복원할 객체를 촬영한 이미지를 입력 받아 상기 이미지의 특징점을 검색하여 포인트 클라우드(Point Cloud)를 생성하는 단계;
이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제하는 단계;
상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성하는 단계; 및
상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원하는 단계;
를 포함하고,
상기 포인트 클라우드를 생성하는 단계는
상기 포인트 클라우드의 포인트(Point)들에 대한 가중치 설정한 가중치 정보를 생성하고,
상기 포인트 클라우드를 정제하는 단계는
기설정된 엣지 디텍션 기법에 기반하여 상기 이미지에서 윤곽선(Edge)을 추출한 후, 윤곽선을 기준으로 상기 포인트들을 정제하여 그룹핑 하고,
기설정된 컬러 세그먼트(Color Segmentation)에 기반하여 이미지의 영역을 구분하고, 상기 이미지의 영역 내의 포인트보다 영역 사이를 구분하는 포인트에 더 많은 가중치를 설정하여 가중치 정보를 생성하고,
상기 기설정된 엣지 디텍션 기법과 상기 기설정된 컬러 세그먼트 기법에 의해 가중치가 설정된 포인트와, 가중치가 설정되지 않은 포인트를 각각 그룹핑하는 것을 특징으로 하는 이미지 프로세싱을 이용한 3차원 모델 복원 방법.In a 3D model restoration method of a 3D model restoration device using image processing,
Receiving an image of an object for which a three-dimensional model is to be restored and searching for feature points of the image to generate a point cloud;
refining the point cloud using an image processing algorithm;
Generating a 3D mesh using the refined point cloud; and
Restoring the 3D model by mapping a 3D texture generated using the 3D mesh to the image;
Including,
The step of generating the point cloud is
Generate weight information that sets weights for the points of the point cloud,
The step of refining the point cloud is
After extracting the edge from the image based on a preset edge detection technique, the points are refined and grouped based on the outline,
The areas of the image are divided based on preset color segments, and weight information is generated by setting more weight to the points that distinguish between areas than to the points within the area of the image,
A 3D model restoration method using image processing, comprising grouping points for which weights are set and points for which weights are not set by the preset edge detection technique and the preset color segment technique, respectively.
이미지 프로세싱 알고리즘을 이용하여 상기 포인트 클라우드를 정제하는 포인트 정제부; 및
상기 정제된 포인트 클라우드를 이용하여 3차원 메쉬를 생성하고, 상기 3차원 메쉬를 이용하여 생성된 3차원 텍스처를 상기 이미지에 매핑하여 상기 3차원 모델을 복원하는 3차원 모델 생성부;
를 포함하고,
상기 포인트 클라우드 생성부는
상기 포인트 클라우드의 포인트(Point)들에 대한 가중치 설정한 가중치 정보를 생성하고,
상기 포인트 정제부는
기설정된 엣지 디텍션 기법에 기반하여 상기 이미지에서 윤곽선(Edge)을 추출한 후, 윤곽선을 기준으로 상기 포인트들을 정제하여 그룹핑 하고,
기설정된 컬러 세그먼트(Color Segmentation)에 기반하여 이미지의 영역을 구분하고, 상기 이미지의 영역 내의 포인트보다 영역 사이를 구분하는 포인트에 더 많은 가중치를 설정하여 가중치 정보를 생성하고,
상기 기설정된 엣지 디텍션 기법과 상기 기설정된 컬러 세그먼트 기법에 의해 가중치가 설정된 포인트와, 가중치가 설정되지 않은 포인트를 각각 그룹핑하는 것을 특징으로 하는 이미지 프로세싱을 이용한 3차원 모델 복원 장치.A point cloud generator that receives an image of an object for which a three-dimensional model is to be restored, searches for feature points in the image, and generates a point cloud.
a point refinement unit that refines the point cloud using an image processing algorithm; and
a 3D model generator that generates a 3D mesh using the refined point cloud and maps a 3D texture generated using the 3D mesh to the image to restore the 3D model;
Including,
The point cloud generator
Generate weight information that sets weights for the points of the point cloud,
The point purification unit
After extracting the edge from the image based on a preset edge detection technique, the points are refined and grouped based on the outline,
The areas of the image are divided based on preset color segments, and weight information is generated by setting more weight to the points that distinguish between areas than to the points within the area of the image,
A 3D model restoration device using image processing, characterized in that it groups points for which weights are set and points for which weights are not set by the preset edge detection technique and the preset color segment technique, respectively.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160169346A KR102633159B1 (en) | 2016-12-13 | 2016-12-13 | Apparatus and method for restoring 3d-model using the image-processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160169346A KR102633159B1 (en) | 2016-12-13 | 2016-12-13 | Apparatus and method for restoring 3d-model using the image-processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180067914A KR20180067914A (en) | 2018-06-21 |
| KR102633159B1 true KR102633159B1 (en) | 2024-02-05 |
Family
ID=62806618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160169346A KR102633159B1 (en) | 2016-12-13 | 2016-12-13 | Apparatus and method for restoring 3d-model using the image-processing |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102633159B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102210344B1 (en) * | 2020-07-09 | 2021-02-01 | 주식회사 우리아이씨티 | Method for producing digital topography using 3D precision scanner-based field survey and complementary survey |
| KR102533985B1 (en) | 2021-05-21 | 2023-05-17 | 한국항공대학교산학협력단 | System and method for restoration of point cloud |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101841668B1 (en) * | 2012-02-15 | 2018-03-27 | 한국전자통신연구원 | Apparatus and method for producing 3D model |
| KR20150089663A (en) * | 2014-01-28 | 2015-08-05 | 한국전자통신연구원 | Device for multi-shape primitives fitting of 3D point clouds using graph-based segmentation and method thereof |
| CN105844582B (en) * | 2015-01-15 | 2019-08-20 | 北京三星通信技术研究有限公司 | The register method and device of 3D rendering data |
-
2016
- 2016-12-13 KR KR1020160169346A patent/KR102633159B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180067914A (en) | 2018-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10685201B2 (en) | Method and system for recognizing location information in two-dimensional code | |
| CN109816762B (en) | Image rendering method and device, electronic equipment and storage medium | |
| KR102033262B1 (en) | Canonical reconstruction method, apparatus, terminal device and storage medium | |
| EP3279803B1 (en) | Picture display method and device | |
| US8718356B2 (en) | Method and apparatus for 2D to 3D conversion using scene classification and face detection | |
| CN108124489B (en) | Information processing method, apparatus, cloud processing device and computer program product | |
| US20230252664A1 (en) | Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium | |
| US9047706B1 (en) | Aligning digital 3D models using synthetic images | |
| US20170272724A1 (en) | Apparatus and method for multi-view stereo | |
| CN107369204B (en) | Method for recovering basic three-dimensional structure of scene from single photo | |
| CN107392958A (en) | A kind of method and device that object volume is determined based on binocular stereo camera | |
| JP2013186902A (en) | Vehicle detection method and apparatus | |
| KR101593316B1 (en) | Method and apparatus for recontructing 3-dimension model using stereo camera | |
| WO2024077935A1 (en) | Visual-slam-based vehicle positioning method and apparatus | |
| CN110930503A (en) | Method and system for establishing three-dimensional model of clothing, storage medium and electronic equipment | |
| KR102633159B1 (en) | Apparatus and method for restoring 3d-model using the image-processing | |
| CN110443228B (en) | Pedestrian matching method and device, electronic equipment and storage medium | |
| CN117274605B (en) | Method and device for extracting water area outline from photo shot by unmanned aerial vehicle | |
| KR102144198B1 (en) | Method and system for re-sampling of point cloud using voronoi tessellation and k-nearest neighbor algorithm | |
| CN112132845B (en) | Method, device, electronic equipment and readable medium for singulating three-dimensional model | |
| CN116051980B (en) | Building identification method, system, electronic equipment and medium based on oblique photography | |
| JP5769248B2 (en) | Stereo matching processing device, stereo matching processing method, and program | |
| KR102240570B1 (en) | Method and apparatus for generating spanning tree,method and apparatus for stereo matching,method and apparatus for up-sampling,and method and apparatus for generating reference pixel | |
| CN111369612A (en) | Three-dimensional point cloud image generation method and equipment | |
| KR20190029842A (en) | Three-Dimensional Restoration Cloud Point Creation Method Using GPU Accelerated Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |