KR20200002772A - 3D plane extraction method and apparatus - Google Patents
3D plane extraction method and apparatus Download PDFInfo
- Publication number
- KR20200002772A KR20200002772A KR1020197001703A KR20197001703A KR20200002772A KR 20200002772 A KR20200002772 A KR 20200002772A KR 1020197001703 A KR1020197001703 A KR 1020197001703A KR 20197001703 A KR20197001703 A KR 20197001703A KR 20200002772 A KR20200002772 A KR 20200002772A
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- voxel
- spatial information
- information data
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
본 발명은 3차원 평면추출 방법 및 그 장치에 관한 것으로, 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계;상기 공간정보 데이터를 미리 설정된 크기의 복셀(voxel)로 분할하는 단계; 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함할 수 있다. The present invention relates to a three-dimensional planar extraction method and apparatus thereof, wherein the planar extraction method comprises: obtaining spatial information data using a LiDAR sensor; converting the spatial information data into a voxel having a predetermined size; Dividing; Determining whether the voxel includes one plane using the spatial information data; If the voxel comprises one plane, expanding the plane to another voxel adjacent to the voxel and not including one plane; Stopping expansion to the plane when a preset condition is satisfied; And merging the divided voxels by comparing plane parameters.
Description
본 발명은 3차원 평면추출 방법 및 그 장치에 관한 것으로, 라이다 센서를 이용하여 포인트 클라우드를 획득한 후, 3차원 객체를 분할하고 혼합하는 3D 가상 환경 구축에 관한 것이다.The present invention relates to a 3D plane extraction method and apparatus therefor, and more particularly, to a 3D virtual environment for dividing and mixing 3D objects after obtaining a point cloud using a lidar sensor.
로봇 응용 프로그램은 깊이 센서 또는 레이저 거리 측정기를 사용하는 RGB-D 카메라 또는 3D 스캐너로부터 얻는 주변 환경에 대한 포인트 클라우드를 획득하고 처리한다. 그 중 하나는 SLAM (simultaneous localization and mapping) 또는 건물 재구성에 적용하기 위해 포인트 클라우드로부터 평면 정보를 추출하는 것이다. 따라서, 포인트 클라우드로부터 다양한 형태의 평면 추출법들이 제안되었다.The robot application acquires and processes a point cloud of the surrounding environment obtained from an RGB-D camera or 3D scanner using a depth sensor or laser rangefinder. One of them is to extract planar information from the point cloud to apply to SLAM (simultaneous localization and mapping) or building reconstruction. Therefore, various types of plane extraction methods have been proposed from the point cloud.
Decompose-and-merge 방법은 포인트 클라우드 데이터를 이용하는 평면 추출 알고리즘들 중 가장 유명한 것이다. 보다 구체적으로는, 이 방법은 종단 조건이 만족될 때까지 특정 크기의 복셀로 데이터를 분할한 다음, 같은 평면에 있는 것처럼 보이는 각 분할된 복셀의 데이터를 병합한다. 이 방법은 많은 어플리케이션에서 사용되며 빠른 방식으로 신뢰할 수 있는 결과를 제공한다.The decompose-and-merge method is the most famous of the planar extraction algorithms using point cloud data. More specifically, the method divides the data into voxels of a particular size until the termination condition is satisfied and then merges the data of each divided voxels that appear to be in the same plane. This method is used in many applications and provides fast and reliable results.
그러나 이 방법은 복셀이 너무 적은 수의 포인트로 여러 번 나뉘어지면,신뢰할 수 없는 정보를 제공할 수 있으며 결국 때때로 제대로 된 정보를 제공할 수 없다. 이 문제는 포인트 클라우드의 밀도가 낮거나 상당히 변화하는 조건에서 평면 추출 알고리즘의 결과에 영향을 준다. 따라서 포인트 분포, 즉 포인트 클라우드 데이터의 수에 관계없이 평면 데이터를 확실하게 추출하는 강력한 평면 추출 알고리즘이 필요하다. However, this method can provide unreliable information if the voxel is divided into too many points many times and eventually cannot provide proper information. This problem affects the results of the planar extraction algorithm under conditions of low or significantly varying point cloud density. Therefore, there is a need for a powerful plane extraction algorithm that reliably extracts plane data regardless of the point distribution, i.e. the number of point cloud data.
본 발명은 종래 평면 추출 방법에서 종단 조건이 만족될 때까지 복셀을 계속해서 분할하여야 하여 평면 추출 시간이 오래 걸릴 뿐만 아니라, 클라우드포인트의 수가 적은 복셀에 대해서는 정확도가 떨어지는 문제점을 해결하는 것을 목적으로 한다.The present invention aims to solve the problem that the voxel is continuously divided until the termination condition is satisfied in the conventional planar extraction method, and that the plane extraction takes a long time and that the accuracy of the voxels with a small number of cloud points decreases. .
상기의 목적을 달성하기 위해 본 발명의 일 실시예에 따른 3차원 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계;상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계; 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of extracting a three-dimensional plane, the method including: obtaining spatial information data using a LiDAR sensor; dividing by (voxel); Determining whether the voxel includes one plane using the spatial information data; If the voxel comprises one plane, expanding the plane to another voxel adjacent to the voxel and not including one plane; Stopping expansion to the plane when a preset condition is satisfied; And merging the divided voxels by comparing plane parameters.
본 발명의 일 실시예에 따른 공간정보 데이터는 포인트 클라우드인 것을 특징으로 할 수 있다.The spatial information data according to an embodiment of the present invention may be a point cloud.
본 발명의 일 실시예에 따른 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 할 수 있다.Expanding the plane according to an embodiment of the present invention may be characterized by using a Mahalanobis distance.
본 발명의 일 실시예에 따른 상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의될 수 있다.The Mahalanobis distance D M according to an embodiment of the present invention may be defined by the following formula.
여기서, Pi는 이웃한 복셀의 i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미한다.Here, P i is the i-th point of the neighboring voxel, μ is the center of the plane, S is the covariance of the points forming the plane.
본 발명의 일 실시예에 따른 미리 설정된 조건은, 상기 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 것을 특징으로 할 수 있다.The preset condition according to an embodiment of the present invention may be characterized in that the Mahalanobis distance D M is greater than a preset reference value M th .
본 발명의 일 실시예에 따른 3차원 평면추출 장치는 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부; 상기 복셀분할부로부터 분할된 복셀이 하나의 평면을 포함하는지 상기 공간 정보 데이터를 이용하여 결정하는 평면 결정부; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함할 수 있다.3D planar extraction apparatus according to an embodiment of the present invention comprises a data acquisition unit for obtaining spatial information data using a LiDAR sensor; A voxel dividing unit dividing the spatial information data obtained from the data obtaining unit into three-dimensional voxels having a predetermined size; A plane determination unit for determining whether the voxel divided from the voxel divider includes one plane using the spatial information data; A plane extension unit extending the plane to another voxel adjacent to the voxel and not including one plane when the voxel includes one plane; A controller for stopping expansion of the plane when a preset condition is satisfied; And a voxel merger configured to merge the divided voxels by comparing plane parameters.
본 발명에 의하면, 분해하는 평면 수를 종래 방식에 비하여, 대폭 감소시킴으로써, 평면 추출 및 병합하는 계산시간을 단축시킬 수 있는 효과가 있다. According to the present invention, by greatly reducing the number of planes to be resolved as compared with the conventional method, there is an effect that the calculation time for plane extraction and merging can be shortened.
또한, 본 발명은 포인트 클라우드의 밀도가 낮거나 다른 평면들이 모여서 우위를 점할 때, 즉 표면의 경계 영역에서 다른 종래 방식에 비하여 정확하게 경계를 나타내는 효과가 있다.In addition, the present invention has the effect that when the density of the point cloud is low or other planes are gathered to give an advantage, that is, the boundary precisely compared to other conventional methods in the boundary region of the surface.
도 1은 본 발명의 일 실시예에 따른 3차원 평면추출 방법의 순서도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따라 평면을 확장하는 단계를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 평면을 확장한 결과를 나타내는 도면이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 추출한 평면을 3차원 입체 영상에 적용한 결과를 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 평면 추출 알고리즘과 다른 종류의 알고리즘을 사용한 경우에서 각각의 계산 시간을 비교한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 3차원 평면추출 장치의 블록도이다.1 is a flow chart of a three-dimensional plane extraction method according to an embodiment of the present invention.
2A to 2D are diagrams for explaining a step of expanding a plane according to an embodiment of the present invention.
3 is a view showing a result of expanding a plane by a plane extraction method according to an embodiment of the present invention.
4A to 4C are diagrams illustrating a result of applying a plane extracted by a plane extraction method according to an embodiment of the present invention to a 3D stereoscopic image.
5 and 6 are graphs comparing respective calculation times in the case of using a planar extraction algorithm and another type of algorithm according to an embodiment of the present invention.
7 is a block diagram of a three-dimensional plane extraction apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be described in detail with reference to the accompanying drawings. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes any of a plurality of related description items or a combination of a plurality of related description items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it may be directly connected to or connected to the other component, but it should be understood that there may be other components in between. something to do. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. Throughout the specification and claims, when a part includes a certain component, it means that it may further include other components, except to exclude other components unless specifically stated otherwise.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 3차원 평면추출 방법의 순서도이다.1 is a flow chart of a three-dimensional plane extraction method according to an embodiment of the present invention.
3차원 평면추출 방법은 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 단계(S110);상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계(S120); 상기 공간정보 데이터를 이용하여 상기 복셀이 하나의 평면을 포함하는지 결정하는 단계(S130); 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계(S140); 미리 설정된 조건을 만족하는 경우(S150), 상기 평면에 대한 확장을 중단하고, 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계(S160)를 포함할 수 있다. 단, 상기 미리 설정된 조건을 만족하지 않는 경우라면, 복셀을 분할하는 단계(S120)로 넘어가 평면을 확장하는 단계(S140)가 반복될 수 있다.The 3D planar extraction method may include obtaining spatial information data using a LiDAR sensor (S110); dividing the spatial information data into three-dimensional voxels having a predetermined size (S120); Determining whether the voxel includes one plane by using the spatial information data (S130); If the voxel includes one plane, expanding the plane to another voxel adjacent to the voxel and not including one plane (S140); If the preset condition is satisfied (S150), the expansion of the plane may be stopped and the divided voxels may be merged by comparing the plane parameters (S160). However, if the preset condition is not satisfied, the process proceeds to dividing the voxel (S120) and extends the plane (S140).
한편, 본 발명의 일 실시예에 따른 공간정보 데이터는 라이다(LiDAR) 센서를 통해 획득한 포인트 클라우드일 수 있으나, 반드시 이에 한정되는 것은 아니며 다른 종류의 데이터 유형도 포함할 수 있다. 다만, 본 발명의 일 실시예에서는 포인트 클라우드를 예시로 하여 설명한다. Meanwhile, the spatial information data according to an embodiment of the present invention may be a point cloud acquired through a LiDAR sensor, but is not necessarily limited thereto and may include other types of data types. However, in an embodiment of the present invention, a point cloud will be described as an example.
본 발명의 일 실시예에 따른 3차원 평면추출 방법은 종단(terminal) 조건에 도달 할 때까지 복셀을 분해하지 않고, 오히려 분해의 각 단계가 끝나면 분해한 복셀 중 어느 하나의 복셀에 평면이 하나만 있는 경우 평면을 인접한 복셀로 확장하는 단계를 더 포함하는 것을 특징으로 한다.3D planar extraction method according to an embodiment of the present invention does not decompose the voxel until the terminal (terminal) condition is reached, but rather, after each step of decomposition, there is only one plane in any one of the decomposed voxels. And further extending the plane to adjacent voxels.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따라 평면을 확장하는 단계를 설명하기 위한 도면이다.2A to 2D are diagrams for explaining a step of expanding a plane according to an embodiment of the present invention.
도 2a를 참조하면, 라이다(LiDAR)센서로 획득한 포인트 클라우드(2001, 2002, …, n)가 제1 평면(210) 또는 제2 평면(220)에 분포된다.Referring to FIG. 2A,
그 다음 단계는 도 2b를 참조하여 설명한다. 제1 평면(210) 또는 제2 평면(220)에 분포된 포인트 클라우드(2001, 2002, …, n)가 기 설정된 크기 L 길이의 복수의 복셀(231, 232, 233, 234)로 분할된다.The next step is described with reference to FIG. 2B. The
분할된 각각의 복셀에 대하여 포인트 클라우드가 하나의 평면을 구성하는지 결정된다.For each of the divided voxels it is determined whether the point cloud constitutes one plane.
각 복셀에 포함된 포인트 클라우드가 하나의 평면을 구성하는지는 평면 매개 변수를 추출함으로써 결정될 수 있다. 한편, 평면 매개 변수는 PCA(Principal Component Analysis)를 통해 구할 수 있다.Whether the point cloud included in each voxel constitutes one plane may be determined by extracting plane parameters. Meanwhile, plane parameters can be obtained through Principal Component Analysis (PCA).
복셀에 포함된 포인트들이 평면을 구성하는 경우, PCA는 하나의 법선 벡터(E)와 두 개의 기본 벡터를 도출하는데, 평면 매개 변수는 상기 법선 벡터(E) 및 상기 두 개의 기본 벡터로 구성되는 기준 좌표 프레임의 원점과 평면의 중심 사이의 거리를 포함한다.If the points contained in the voxel constitute a plane, the PCA derives one normal vector (E) and two fundamental vectors, and the plane parameter is a reference composed of the normal vector (E) and the two basic vectors. It contains the distance between the origin of the coordinate frame and the center of the plane.
상술한 평면 매개 변수를 이용하여 잔존 값 r을 하기 수식 1과 같이 구한다.The residual value r is obtained by using
수식 1 :
여기서, k는 복셀에 포함된 포인트의 수를 의미하고, Pi는 i번째 포인트, di는 평면과 i번째 점 사이의 직교 거리를 의미한다.Here, k denotes the number of points included in the voxel, P i denotes the i-th point, and d i denotes the orthogonal distance between the plane and the i-th point.
상기 잔존 값 r은 특정 임계값Rth보다 작으면, 본 발명의 일 실시예에 따른 알고리즘은 복셀이 단 하나의 평면을 포함한다고 결정한다. If the residual value r is less than a certain threshold R th , the algorithm according to an embodiment of the present invention determines that the voxel contains only one plane.
도 2b를 참조하면, 제1 복셀(231)에 포함된 포인트(3001)는 잔존 값 r이 특정 임계값Rth보다 작은 영역(241)에 있기 때문에 상기 영역(241)에 해당하는 제1 평면(210)에 포함되는 것으로 결정된다. Referring to FIG. 2B, the
그리고 제3 복셀(233)에 포함된 포인트 및 제4 복셀(234)에 포함된 포인트도 각각 잔존 값 r이 특정 임계값Rth보다 작은 영역(242, 243)에 있기 때문에 상기 영역(242, 243)에 해당하는 제2 평면(220)에 포함되는 것으로 결정된다.Since the points included in the
반면, 제2 복셀(232)에 포함된 포인트(3002)는 포인트들의 분포가 특정 평면에서 몰려있지 않고, 분산되어 있기 때문에, 잔존 값 r이 특정 임계값Rth보다 크고, 결과적으로, 어느 하나의 평면을 포함하지 않는 것으로 결정된다.On the other hand, the
도 2b에서는 어느 하나의 평면에 포함된 포인트(3001)는 색이 채워진 것으로 표현하고, 어느 하나의 평면에 포함되지 않는 포인트(3002)는 색이 비워진 것으로 표현하여 구분하였다.In FIG. 2B, points 3001 included in any one plane are represented as filled with color, and points 3002 not included in any one plane are expressed as being empty.
도 2c는 본 발명의 일 실시예에 따른 평면 추출 방법에서 평면을 확장하는 단계를 나타내는 도면이다.2C is a diagram illustrating a step of expanding a plane in a plane extraction method according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 한다. According to one embodiment of the present invention, the step of expanding the plane is characterized by using a Mahalanobis distance.
종래 연구에서는 유클리드 거리(Euclidean distance)만 사용하여 직교 거리를 계산함으로써 포인트가 평면에 속하는지 여부를 결정하였는데, 이러한 방법은 실질적으로 동일한 평면에 있지 않으나 직각으로 가까운 점을 제거하지 못하는 단점이 있다. In the related art, it is determined whether or not a point belongs to a plane by calculating an orthogonal distance using only Euclidean distance. However, this method has a disadvantage in that it is not substantially in the same plane but does not remove a point close to a right angle.
본 발명은 마할라노비스(Mahalanobis) 거리를 사용하여 평면을 확장하는 단계를 제안한다. 마할라노비스 거리는 데이터 집합의 분산으로 조정되는 거리를 뜻한다.The present invention proposes a step of expanding the plane using the Mahalanobis distance. Mahalanobis distance is the distance adjusted by the variance of the data set.
분할된 복셀 중 적어도 하나에 평면이 하나만 있는 것으로 결정되면 평면을 포함하지 않는 이웃 복셀로 평면을 확장한다. If it is determined that there is only one plane in at least one of the divided voxels, the plane is extended to neighboring voxels that do not include the plane.
도 2c를 참조하면, 제1 평면 영역(251)에 해당되는 포인트들은 평면을 포함하는 제1 복셀(231)에서 평면을 포함하지 않고 제1 복셀(231)의 이웃 복셀인 제2 복셀(232)로 확장된다.Referring to FIG. 2C, points corresponding to the first
또한, 제2 평면 영역(252)에 해당되는 포인트들도 평면을 포함하는 제3 복셀(233)에서 평면을 포함하지 않고 제3 복셀(233)의 이웃 복셀인 제2 복셀(232)로 확장된다.In addition, points corresponding to the second
도 2c를 참조하여 평면영역이 확장되는 방법을 설명하면, 하기 수식 2와 같이 정의되는 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 작을 때에만 확장을 진행하는 평면 영역에 포인트를 포함시키고, 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 클 때에는 확장을 진행하는 평면 영역에 포인트를 포함시키지 않고, 평면 확장을 중단한다. Referring to FIG. 2C, a method of expanding a planar region may be described. A point on a planar region which extends only when the Mahalanobis distance D M defined as
수식 2 :
여기서, Pi는 이웃한 복셀의i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미하고, (A)T 는 A의 전치행렬을 의미합니다.Where P i is the i-th point of the neighboring voxel, μ is the center of the plane, S is the covariance of the points forming the plane, and (A) T is the transpose of A.
상기 수식 2가 의미하는 것은, i번째 포인트(Pi)가 평면의 중심(μ)이 되는 포인트(2000)로부터 떨어진 거리를 평면을 형성하는 포인트들의 공분산(S)으로 나눈 것인데, 포인트들이 평면의 확장 방향으로 분포되면 공분산(S)는 커지므로, 마할라노비스 거리(DM)는 작아진다. 반면, 평면의 확장 방향으로 포인트들이 분포되지 않고 다른 평면 방향으로 포인트들이 분포되면, 공분산(S)은 작아지므로, 마할라노비스 거리(DM)는 커진다.
도 2d는 본 발명의 일 실시예에 따른 평면 추출 방법에서 평면 확장 단계를 중단하는 것을 설명하기 위한 도면이다. Figure 2d is a view for explaining the stopping of the plane expansion step in the planar extraction method according to an embodiment of the present invention.
도 2c 및 도 2d를 참조하여 설명하면, 포인트가 평면의 엣지 영역(260)에 해당될수록 마할라노비스 거리(DM)는 커지고, 마할라노비스 거리(DM)가 기 설정된 기준값(Mth)보다 클 때 평면 확장 단계는 중단되고, 분할된 복셀들이 병합되는 단계로 넘어가서 3차원 모델이 재구성될 수 있다. Referring to FIGS. 2C and 2D, as the point corresponds to the
도 3은 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 평면을 확장한 결과를 나타내는 도면이다. A는 종래 방식으로 평면을 추출한 결과이고, B는 본 발명의 일 실시예에 따라 평면을 추출한 결과이다.3 is a view showing a result of expanding a plane by a plane extraction method according to an embodiment of the present invention. A is a result of extracting a plane in a conventional manner, B is a result of extracting a plane according to an embodiment of the present invention.
도 3을 참조하면, 종래 방법(A)의 경우에서 평면이 얼룩덜룩하게 표현된 영역(311)이 본 발명에 따른 방법(B)에서는 깨끗하게 사라진 것을 확인할 수 있다(321).Referring to FIG. 3, it can be seen that the
특히, 평면의 경계에 인접한 포인트가 속한 영역(312, 322)의 경우에 종래 방법(A)과 본 발명에 따른 방법(B)의 결과는 뚜렷하게 비교된다.In particular, in the case of the
종래 방법(A)에서는 평면의 경계에 인접한 포인트들이 평면에서 제외된 것으로 나타났으나(313), 본 발명에 따른 방법(B)에서는 평면의 경계에 인접한 포인트들은 평면에 포함된 것으로 나타났다(323). In the conventional method (A), the points adjacent to the boundary of the plane were found to be excluded from the plane (313), but in the method (B) according to the present invention, the points adjacent to the boundary of the plane were shown to be included in the plane (323). .
따라서, 평면의 경계에 인접한 포인트들은 본 발명에 따른 평면 추출 방법에 의해 인접한 평면으로 확장되기 때문에, 평면의 경계면에서 종래 방식에 비해 더 좋은 결과를 도출할 수 있다.Therefore, since the points adjacent to the boundary of the plane are extended to the adjacent plane by the plane extraction method according to the present invention, better results can be obtained than the conventional method at the boundary of the plane.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 평면 추출 방법에 의해 추출한 평면을 3차원 입체 영상에 적용한 결과를 나타내는 도면이다. 윗쪽에 있는 영상은 종래 방법인 강력한 PCA 기반 계층 적 방법(robust-PCA based hierarchical, 이하 RH라 지칭한다)에 의한 결과이고, 아래쪽에 있는 영상은 본 발명의 일 실시예에 따른 방법에 의한 결과를 나타낸다.4A to 4C are diagrams illustrating a result of applying a plane extracted by a plane extraction method according to an embodiment of the present invention to a 3D stereoscopic image. The upper image is a result of the conventional method, a robust PCA based hierarchical method (hereinafter referred to as RH), and the lower image is a result of the method according to an embodiment of the present invention. Indicates.
특히 A, B, C 각 영역은 포인트 클라우드의 밀도가 낮거나 가장자리가 평면의 끝에서 만나는 곳을 표시한 것으로, RH 방법에 의한 결과와 본 발명에 따른 방법의 차이를 비교하기 위해 A, B, C 영역을 확대하여 설명한다.In particular, the areas A, B, and C indicate where the point cloud has a low density or where the edges meet at the ends of the plane. In order to compare the results of the RH method with the method according to the present invention, A, B, The enlarged area C will be described.
도 4a 내지 도 4c를 참고하면, RH 방법에 의한 결과에서는 포인트 클라우드 밀도의 부족으로 데이터가 무시되었으나, 본 발명에 따른 결과는 더 정확한 경계와 더 많은 인라이어(inliers)를 포함하는 것을 나타낸다. 명세서 전체에서 인라이어(inliers)는 마땅히 포함되어야 할 값을 지칭하고, 아웃라이어(Outliers)는 포함되지 않아야 하는 값을 지칭할 수 있다.4A to 4C, although the data by the result of the RH method was ignored due to the lack of the point cloud density, the results according to the present invention indicate that the boundary includes more accurate boundaries and more inliers. Inliers throughout the specification (inliers) may refer to a value that should be included, and outliers may refer to a value that should not be included.
본 발명의 일 실시예에 따른 평면 추출 방법은 아래 표에 나타난 바와 같이 기존의 RH 방법보다 분해하는 평면수를 4362에서 1140으로 73%이하로 감소시켰고, 따라서 계산량도 대폭 감소시킬 수 있다.As shown in the table below, the planar extraction method according to an embodiment of the present invention reduces the number of planes decomposed from the conventional RH method to less than 73% from 4362 to 1140, thus greatly reducing the amount of computation.
도 5 및 도 6은 본 발명의 일 실시예에 따른 평면 추출 알고리즘과 다른 종류의 알고리즘을 사용한 경우에서 각각의 계산 시간을 비교한 그래프이다.다른 종류의 알고리즘은 전술한 RH 방법과 그리드 기반 세그먼트 방법(grid-based segmentation, 이하 GBS라 지칭한다)이다.5 and 6 are graphs comparing respective calculation times in the case of using a planar extraction algorithm and a different type of algorithm according to an embodiment of the present invention. Another type of algorithm is the above-described RH method and a grid-based segment method. (grid-based segmentation, hereinafter referred to as GBS).
도 5는 각 포인트 클라우드 데이터 세트에 대한 각 알고리즘의 평균 계산시간을 나타낸다. x축은 서로 다른 포인트 클라우드 데이터 세트를 의미하고, y축은 평균 계산 시간을 나타내는데, 본 발명의 일 실시예에 따른 방법을 사용한 경우에서 평균 계산 시간이 모든 데이터 세트에 대해 RH 방법과 GBS 방법에 비하여 현저히 적은 것을 확인할 수 있다.5 shows the average computation time of each algorithm for each point cloud data set. The x-axis refers to different point cloud data sets, and the y-axis represents the average calculation time. In the case of using the method according to an embodiment of the present invention, the average calculation time is significantly higher than that of the RH and GBS methods for all data sets. You can see little.
보다 구체적으로는, 본 발명에 따른 알고리즘이 RH 방법보다 62% 더 빠른 결과를 나타낸다.More specifically, the algorithm according to the invention results in 62% faster than the RH method.
도 6은 포인트 클라우드의 크기에 따른 각 알고리즘의 계산 시간을 나타낸다.6 shows the calculation time of each algorithm according to the size of the point cloud.
도 6을 참조하면, 포인트 클라우드의 포인트 개수가 증가할수록, 즉 포인트 클라우드의 크기가 클수록 계산 시간이 증가하는 것을 확인할 수 있다.Referring to FIG. 6, it can be seen that the calculation time increases as the number of points of the point cloud increases, that is, the size of the point cloud increases.
다만, 본 발명에 의한 알고리즘은 RH 방법과 GBS 방법에 비하여 입력 데이터의 크기에 대한 영향을 덜 받는 것으로 나타났다. However, the algorithm according to the present invention was found to be less affected by the size of the input data than the RH method and the GBS method.
도 7은 본 발명의 일 실시예에 따른 3차원 평면추출 장치의 블록도이다.7 is a block diagram of a three-dimensional plane extraction apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 3차원 평면추출 장치는 라이다(LiDAR) 센서를 이용하여 공간정보 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부; 상기 복셀분할부로부터 분할된 복셀이 하나의 평면을 포함하는지 상기 공간 정보 데이터를 이용하여 결정하는 평면 결정부; 상기 복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부; 미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및 평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함할 수 있다.3D planar extraction apparatus according to an embodiment of the present invention comprises a data acquisition unit for obtaining spatial information data using a LiDAR sensor; A voxel dividing unit dividing the spatial information data obtained from the data obtaining unit into a 3D voxel having a predetermined size; A plane determination unit for determining whether the voxel divided from the voxel divider includes one plane using the spatial information data; A plane extension unit extending the plane to another voxel adjacent to the voxel and not including one plane when the voxel includes one plane; A controller for stopping expansion of the plane when a preset condition is satisfied; And a voxel merger configured to merge the divided voxels by comparing plane parameters.
본 발명의 일 실시예에 따른 3차원 평면추출 장치에 관한 구체적인 설명은 평면추출 방법에 관한 설명이 동일하게 적용될 수 있다. Detailed description of the three-dimensional plane extraction apparatus according to an embodiment of the present invention may be the same description of the plane extraction method.
본 발명의 일 실시예에 따른 3차원 평면추출 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.The 3D planar extraction method according to an embodiment of the present invention may be implemented as a program and stored in a computer-readable recording medium (RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
Claims (10)
상기 공간정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 단계;
상기 공간정보 데이터를 이용하여 상기복셀이하나의평면을 포함하는지 결정하는 단계;
상기복셀이하나의 평면을 포함하는 경우, 상기복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 단계;
미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 단계; 및
평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 단계를 포함하는 3차원 평면추출 방법.Obtaining spatial information data using a LiDAR sensor;
Dividing the spatial information data into three-dimensional voxels having a predetermined size;
Determining whether the voxel includes one plane using the spatial information data;
If the voxel comprises one plane, expanding the plane to another voxel adjacent to the voxel and not including one plane;
Stopping expansion to the plane when a preset condition is satisfied; And
Merging the divided voxels by comparing plane parameters.
상기 공간정보 데이터는 포인트 클라우드인 것을 특징으로 하는 3차원 평면추출 방법.The method of claim 1,
The spatial information data is a three-dimensional plane extraction method, characterized in that the point cloud.
상기 평면을 확장하는 단계는 마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 하는 3차원 평면추출 방법.The method of claim 1,
Expanding the plane is a three-dimensional plane extraction method, characterized in that using the Mahalanobis distance.
상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의되는 것을 특징으로 하는 3차원 평면추출 방법.
여기서, Pi는 이웃한 복셀의 i번째 포인트, μ는 평면의 중심, S는 평면을 형성하는 포인트들의 공분산을 의미함.The method of claim 3,
The Mahalanobis distance (D M ) is a three-dimensional plane extraction method, characterized in that defined by the following formula.
Where P i is the i th point of the neighboring voxel, μ is the center of the plane, and S is the covariance of the points forming the plane.
상기 미리 설정된 조건은, 상기 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 3차원 평면추출 방법.The method according to claim 1 or 4,
The preset condition is a three-dimensional plane extraction method, wherein the Mahalanobis distance (D M ) is greater than a predetermined reference value (M th ).
상기 데이터 획득부로부터 획득한 상기 공간 정보 데이터를 미리 설정된 크기의 3차원 복셀(voxel)로 분할하는 복셀분할부;
상기 복셀분할부로부터 분할된 복셀이 하나의 평면을 포함하는지 상기 공간 정보 데이터를 이용하여 결정하는 평면 결정부;
상기복셀이 하나의 평면을 포함하는 경우, 상기 복셀에 인접하고 하나의 평면을 포함하지 않는 다른 복셀로 상기 평면을 확장하는 평면 확장부;
미리 설정된 조건을 만족하는 경우, 상기 평면에 대한 확장을 중단하는 제어부; 및
평면 파라미터를 비교함으로써 상기 분할된 복셀들을 병합하는 복셀병합부를 포함하는 3차원 평면추출 장치.A data obtaining unit obtaining spatial information data using a LiDAR sensor;
A voxel dividing unit dividing the spatial information data obtained from the data obtaining unit into a 3D voxel having a predetermined size;
A plane determination unit for determining whether the voxel divided from the voxel divider includes one plane using the spatial information data;
A plane extension unit extending the plane to another voxel adjacent to the voxel and not including one plane when the voxel includes one plane;
A controller for stopping expansion of the plane when a preset condition is satisfied; And
And a voxel merger for merging the divided voxels by comparing plane parameters.
공간정보 데이터는 포인트 클라우드인 것을 특징으로 하는 3차원 평면추출 장치.The method of claim 6,
The spatial information data is a three-dimensional plane extraction apparatus, characterized in that the point cloud.
상기 평면 확장부는마할라노비스(Mahalanobis) 거리를 사용하는 것을 특징으로 하는3차원 평면추출 장치.The method of claim 6,
The planar expansion portion is a three-dimensional planar extraction device, characterized in that using the Mahalanobis distance.
상기 마할라노비스 거리(DM)는 하기 수식에 의해 정의되는 것을 특징으로 하는 3차원 평면추출 장치.
여기서, Pi는 이웃한 복셀의i번째 포인트, μ는 평면의 중심, S는 이웃 복셀의 포인트들의 공분산을 의미함. The method of claim 8,
The Mahalanobis distance (D M ) is a three-dimensional plane extraction apparatus, characterized in that defined by the following formula.
Where P i is the i-th point of the neighboring voxel, μ is the center of the plane, and S is the covariance of the points of the neighboring voxel.
상기 미리 설정된 조건은, 상기 마할라노비스 (Mahalanobis) 거리(DM)가 기 설정된 기준값(Mth)보다 큰 것인 3차원 평면추출 장치.The method according to claim 6 or 9,
The preset condition is a three-dimensional plane extraction apparatus, wherein the Mahalanobis distance (D M ) is greater than a preset reference value (M th ).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180072811 | 2018-06-25 | ||
| KR20180072811 | 2018-06-25 | ||
| PCT/KR2018/015743 WO2020004740A1 (en) | 2018-06-25 | 2018-12-12 | Three-dimensional plane extraction method and device therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200002772A true KR20200002772A (en) | 2020-01-08 |
| KR102170453B1 KR102170453B1 (en) | 2020-10-28 |
Family
ID=68987092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197001703A KR102170453B1 (en) | 2018-06-25 | 2018-12-12 | 3D plane extraction method and device |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102170453B1 (en) |
| WO (1) | WO2020004740A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113375556A (en) * | 2021-06-18 | 2021-09-10 | 盎锐（上海）信息科技有限公司 | Full-stack actual measurement system, measurement method and laser radar |
| CN113569856A (en) * | 2021-07-13 | 2021-10-29 | 盎锐（上海）信息科技有限公司 | Model semantic segmentation method for actual measurement actual quantity and laser radar |
| CN117745728A (en) * | 2024-02-21 | 2024-03-22 | 法奥意威(苏州)机器人系统有限公司 | Point cloud plane detection method and device, electronic equipment and readable storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130026853A (en) * | 2011-09-06 | 2013-03-14 | 한국전자통신연구원 | Apparatus and method for rendering of point cloud using voxel grid |
| KR20140014596A (en) * | 2012-07-25 | 2014-02-06 | 연세대학교 산학협력단 | Indoor 3d model extraction method based on point clouds from terrestrial lidar and recording medium thereof |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9412040B2 (en) * | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
-
2018
- 2018-12-12 KR KR1020197001703A patent/KR102170453B1/en active IP Right Grant
- 2018-12-12 WO PCT/KR2018/015743 patent/WO2020004740A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130026853A (en) * | 2011-09-06 | 2013-03-14 | 한국전자통신연구원 | Apparatus and method for rendering of point cloud using voxel grid |
| KR20140014596A (en) * | 2012-07-25 | 2014-02-06 | 연세대학교 산학협력단 | Indoor 3d model extraction method based on point clouds from terrestrial lidar and recording medium thereof |
Non-Patent Citations (1)
| Title |
|---|
| https://blog.naver.com/PostPrint.nhn?blogId=koys007&logNo=221240189510* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102170453B1 (en) | 2020-10-28 |
| WO2020004740A1 (en) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325998B (en) | Indoor 3D modeling method, system and related device based on point cloud data | |
| CN109903327B (en) | Target size measurement method of sparse point cloud | |
| US9412040B2 (en) | Method for extracting planes from 3D point cloud sensor data | |
| US20210042929A1 (en) | Three-dimensional object detection method and system based on weighted channel features of a point cloud | |
| CN107590825B (en) | Point cloud hole repairing method based on SFM | |
| CN106156692B (en) | method and device for positioning human face edge feature points | |
| US9020251B2 (en) | Image processing apparatus and method | |
| CN110226806B (en) | Sole gluing track generation method and device | |
| CN107610061B (en) | Edge-preserving point cloud hole repairing method based on two-dimensional projection | |
| KR102170453B1 (en) | 3D plane extraction method and device | |
| CN110992356A (en) | Target object detection method and device and computer equipment | |
| CN107622480B (en) | Kinect depth image enhancement method | |
| JP2015108621A5 (en) | Non-primary computer-readable medium storing method, image processing apparatus, and program for extracting plane from three-dimensional point cloud | |
| KR101759188B1 (en) | the automatic 3D modeliing method using 2D facial image | |
| KR102472004B1 (en) | calibration method and apparatus among mutiple sensors | |
| US8929587B2 (en) | Multi-tracking of video objects | |
| JP6787844B2 (en) | Object extractor and its superpixel labeling method | |
| JP6351350B2 (en) | 3D model retrieval system and 3D model retrieval method | |
| CN109448093B (en) | Method and device for generating style image | |
| CN104992176B (en) | A kind of Chinese character extracting method towards an inscription on a tablet | |
| CN111915724A (en) | Point cloud model slice shape calculation method | |
| JP2017134596A (en) | Image processing method and process simulation device | |
| KR101812664B1 (en) | Method and apparatus for extracting multi-view object with fractional boundaries | |
| Liu et al. | 3D point cloud denoising and normal estimation for 3D surface reconstruction | |
| Yoshioka et al. | Automatic segmentation and feature identification of laser scanning point cloud data for reverse engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |