KR101117045B1 - Noise reduction system for smoothing of 3D data related to searching pieces - Google Patents

Noise reduction system for smoothing of 3D data related to searching pieces Download PDF

Info

Publication number
KR101117045B1
KR101117045B1 KR1020090024595A KR20090024595A KR101117045B1 KR 101117045 B1 KR101117045 B1 KR 101117045B1 KR 1020090024595 A KR1020090024595 A KR 1020090024595A KR 20090024595 A KR20090024595 A KR 20090024595A KR 101117045 B1 KR101117045 B1 KR 101117045B1
Authority
KR
South Korea
Prior art keywords
noise
image
mesh
area
dimensional
Prior art date
Application number
KR1020090024595A
Other languages
Korean (ko)
Other versions
KR20100106126A (en
Inventor
황보택근
현대환
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020090024595A priority Critical patent/KR101117045B1/en
Publication of KR20100106126A publication Critical patent/KR20100106126A/en
Application granted granted Critical
Publication of KR101117045B1 publication Critical patent/KR101117045B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Abstract

본 발명은 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 방법에 관한 것으로, 노이즈 제거 시스템이 화상 정보를 수신하는 화상 수신부와, 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하는 노이즈 판별부와, 상기 노이즈 판별부에서 해당 화상이 노이즈라고 판별하였을 경우 상기 화상의 메쉬에 관한 좌표를 3차원 부피와 2차원 면적의 차이가 최소로 되는 방향으로 변환시켜 노이즈를 제거하는 노이즈 제거부로 이루어져서 화상의 노이즈 제거 효율을 높일 수 있어 화면에서 양호한 화상을 표시할 수 있는 효과가 있다. The present invention relates to a noise removing system and a method for smoothing three-dimensional data for member retrieval, the noise removing system for receiving the image information, the ratio of the volume size and the area size with respect to the mesh of the image; A noise discriminating unit for determining whether the image is noise compared to a threshold value, and when the noise discriminating unit determines that the image is noise, the coordinates of the mesh of the image have a minimum difference between the three-dimensional volume and the two-dimensional area. The noise canceling unit is configured to remove the noise by converting in the direction of the direction, so that the noise removing efficiency of the image can be improved, and thus a good image can be displayed on the screen.

노이즈, 화상, 영상, 제거, 평활화. 메쉬, 면적, 부피, 좌표, 3차원, 2차원 Noise, image, picture, removal, smoothing. Mesh, Area, Volume, Coordinate, 3D, 2D

Description

부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법 {Noise reduction system for smoothing of 3D data related to searching pieces}Noise reduction system for smoothing three-dimensional data for member search and its removal method {Noise reduction system for smoothing of 3D data related to searching pieces}

본 발명은 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법에 관한 것으로, 특히 부재 검색을 위한 3차원 데이터의 평활화를 위하여 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하여 해당 노이즈를 화면에서 제거하는, 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a noise removal system for smoothing three-dimensional data for member retrieval and a method of removing the same. The present invention relates to a noise removal system for smoothing three-dimensional data for searching for a member, and to remove the noise from a screen by determining whether the image is noise compared to a threshold and a method of removing the noise.

여기서, 부재(pieces)의 의미는 사물이 조각 조각 나뉘어져 있는 상태를 의미한다. Here, the meaning of pieces refers to a state in which things are divided into pieces.

컴퓨터 비전을 이용하여 3D로 재구성된 데이터는 필연적으로 잡음이나 에러를 포함하게 된다. 이런 데이터를 메쉬화하면 잡음이나 에러로 인해 본래 물체와 다른 3차원 메쉬 데이터가 만들어진다. 본 제안은 3차원 복원으로 재구성된 3차원 메쉬 데이터나 레이저 스캐너로 얻어진 3차원 메쉬 데이터에서 잡음을 효과적으로 제거하는 방법을 제안한다. 제안된 방법은 메쉬의 2/3차원 면적 크기의 비를 이용하여 잡음을 평활화하기 때문에 면적이 큰 3차원 메쉬 데이터에 대한 사전처리가 필요하다.  Data reconstructed in 3D using computer vision inevitably includes noise or errors. Meshing such data results in three-dimensional mesh data that is different from the original object due to noise or errors. This proposal proposes a method to effectively remove noise from three-dimensional mesh data reconstructed by three-dimensional reconstruction or three-dimensional mesh data obtained by a laser scanner. Since the proposed method smooths out noise using the ratio of 2 / 3-dimensional area size of the mesh, preprocessing for large-dimensional 3D mesh data is required.

최근의 물체 모델링 경향은 다수의 영상으로부터 3차원 데이터를 복원하는 것이다. 다수의 영상으로부터 물체 표면 재구성은 컴퓨터 비젼의 기본적인 문제 중 하나이다. 기하학적인 계산을 이용하여 3차원 데이터를 복원하는 여러 방법 중 일반적인 접근법들은 장면의 3차원 점들을 재구성하는 것이다. Recent trends in object modeling have been to reconstruct three-dimensional data from multiple images. Object surface reconstruction from multiple images is one of the fundamental problems of computer vision. One of the common approaches to reconstructing three-dimensional data using geometric calculations is to reconstruct the three-dimensional points of the scene.

다수의 영상으로부터 3차원 데이터를 얻음에 있어서 이런 연구들은 각 단계- 카메라 교정, 대응점 검색, 기본 행렬 계산 등-에서 피할 수 없는 에러를 포함한다. 이러한 에러들은 3차원 데이터에서 피크 잡음이나 가우시안 잡음으로 나타난다. In obtaining three-dimensional data from multiple images, these studies include inevitable errors at each step-camera calibration, correspondence search, basic matrix calculation, and so on. These errors appear as peak noise or Gaussian noise in three-dimensional data.

이런 3차원 점군(points cloud)을 메쉬화하면 원래 물체 표면과 다르게 부드럽지 않은 물체 표면이 만들어진다. 따라서 물체 표면의 기하학적 특징을 보존하면서 표면상의 잡음을 평활화하는 것이 중요하다. Meshing these three-dimensional points clouds creates an object surface that is not as smooth as the original object surface. Therefore, it is important to smooth the noise on the surface while preserving the geometrical features of the object surface.

예를 들어, 삼각형 메쉬에 잡음이 더해진다면, 메쉬의 정점들은 원래 메쉬의 정점의 위치와 다르게 배치가 될 것이고, 잡음과 메쉬 정점들을 분리해서 정점들의 위치를 수정해야 할 것이다. 따라서, 잡음 평활화 과정은 메쉬의 위치를 수정하는 것 과 동일하게 볼 수 있다. 이런 잡음 평활화를 하기 위해, 라플라시안 방법을 포함한 미분 기하학 접근법에 기반한 개념들이 사전 작업이 사용되었다. For example, if noise is added to a triangular mesh, the vertices of the mesh will be placed differently from the position of the vertices of the original mesh, and the noise and mesh vertices will need to be separated to correct the positions of the vertices. Therefore, the noise smoothing process can be seen as the same as modifying the position of the mesh. To achieve this noise smoothing, preliminary work was used on concepts based on differential geometry approaches, including the Laplacian method.

종래의 기하학 접근법들에 기반한 노이즈 평활화는 물체의 특징들에 급격한 변화를 준다. 이런 현상은 도 15 에 보여진다. 도 15는 종래 기술에 의한 노이즈 제거 방법의 결과를 나타낸 예시 화면으로서, 우측에서 첫번째는 토러스 모델, 우측에서 두번째는 도 15(b)는 노이즈이 추가된 모델, 우측에서 3번째는 도 15(c)는 라플라시안 필터로 평활화된 모델, 우측에서 4번째는 중간값 필터로 평활화된 모델을 나타낸 화면이다.Noise smoothing based on conventional geometrical approaches makes drastic changes in the characteristics of the object. This phenomenon is shown in FIG. FIG. 15 is an exemplary screen showing a result of a noise removing method according to the prior art, in which a torus model is shown on the right side of the screen, and FIG. 15 (b) shows a model to which noise is added from the right side, and FIG. Shows the model smoothed by the Laplacian filter, and the model on the right is the model smoothed by the median filter.

메쉬 정점의 위치가 업데이트되는 메쉬 변화 과정을 고려해보면, 수학식 1과 같다.Considering a mesh change process in which the positions of mesh vertices are updated, Equation 1 is obtained.

Pnew ← Pold + λD(P)   Pnew ← Pold + λD (P)

여기서, D(P)는 변위 벡터이고, λ는 단계별 변수이다.Where D (P) is the displacement vector and λ is the step by step variable.

라플라시안 평활화는 변위 벡터 D(P)가 수학식 2의 엄브렐라 연산자에 의해서 정의되면, 상기 수학식 1에 의해서 메쉬의 정점 위치가 변화된다. In Laplacian smoothing, if the displacement vector D (P) is defined by the umbrella operator of Equation 2, the vertex position of the mesh is changed by Equation 1 above.

Figure 112011048958729-pat00071
Figure 112011048958729-pat00071

여기서, P는 메쉬의 정점이고,  Where P is the vertex of the mesh,

Figure 112009017464522-pat00002
Figure 112009017464522-pat00002

수학식 3은 도 16의 왼쪽에서 정점 P에 이웃하는 메쉬 정점들의 1차원적인 링이다. 도 16의 좌측 도형은 라플라시안 평활화를 나타낸 도형으로서, 정점 P에 이웃하는 메쉬 정점들의 1차원적인 링이고, 도 16의 우측 도형은 정점들과 에지(xi-xj)에 인접한 삼각형의 에지 각도(αjj)를 나타낸 도형이다. Equation 3 is a one-dimensional ring of mesh vertices adjacent to vertex P on the left side of FIG. The left figure of FIG. 16 shows Laplacian smoothing, which is a one-dimensional ring of mesh vertices adjacent to vertex P, and the right figure of FIG. 16 shows an edge angle α of a triangle adjacent to the vertices and edges (xi-xj). j , β j ).

양방향 라플라시안필터는 라플라시안 방법에 의해 큰 크기 변화에 마이너스 성분을 반대 부호를 갖는 두 가지 스케일 성분으로 대체하는 방법이다. 이러한 평활화는 엄브렐라 연산자의 높은 주파수 성분을 억제한다. 이 필터의 정점 엡데이트 수식은 다음과 같다. The bidirectional Laplacian filter is a method of replacing a negative component with two scale components having opposite signs by a large magnitude change by the Laplacian method. This smoothing suppresses the high frequency components of the umbrella operator. The vertex update formula for this filter is:

Figure 112011048958729-pat00072
Figure 112011048958729-pat00072

여기서, μ > λ > 0, U2는 엄브렐라 연산자의 제곱값이다.  Where μ> λ> 0, U2 is the square of the umbrella operator.

평균 곡률 필터는 평균 곡률 벡터의 강건한 불연속적인 근사화 방법이다. 곡률 법선의 미분적인 정의는 수학식 5 및 수학식 6과 같이, 불연속적인 수식으로 사용된다.  The mean curvature filter is a robust discontinuous approximation of the mean curvature vector. The differential definition of the curvature normal is used as a discontinuous equation, such as equations (5) and (6).

Figure 112011048958729-pat00073
Figure 112011048958729-pat00073

삭제delete

삭제delete

Figure 112011048958729-pat00074
Figure 112011048958729-pat00074

수학식 5와 수학식 6에서 H는 평균 곡률이고 n은 정점 xi에서 법선 벡터이다. A는 xi주변의 인접 영역의 면적이고, ▽는 xi에 대한 미분이다.{도 17(b)}In Equations 5 and 6, H is an average curvature and n is a normal vector at vertex xi. A is the area of the adjacent area around xi, and ▽ is the derivative for xi. {Fig. 17 (b)}

평균 곡률 법선은 지역적인 영역에서 내부 정점과 경계 정점들을 평활화를 위한 쿼시-라플라시안을 정의하기 위해 사용된다. 정점들은 형태를 유지하고 메쉬를 잘 평활화하는 적절한 크기로 법선 방향에 따라 움직인다. 하나의 정점에 이웃하는 정점들에만 제한적으로 가중치된 평균 곡률 법선을 적용하면 원래 메쉬의 특징이 효과적으로 보존된다. The average curvature normal is used to define the quasi-laplacian for smoothing the inner and boundary vertices in the local domain. Vertices move along the normal direction to the appropriate size to maintain shape and smooth the mesh well. Applying a limited weighted average curvature normal to only those vertices that are adjacent to one vertex effectively preserves the original mesh features.

한편, 중간값 필터 방법에서는 원래의 삼각형 메쉬를 고려할 때, T는 삼각형 메쉬, n(T)는 단위법선, A(T)는 T의 면적 그리고 C(T)는 T의 중심이라하자. N(T)는 삼각형 메쉬 T를 형성하는 에지나 정점을 공유하는 모든 삼각형 메쉬의 집합을 표시한다. 메쉬에서 모든 면 법선을 고려할 때, 각 메쉬 정점 P의 위치는 수학식 7과 수학식 8에 의해 변화된다.On the other hand, when considering the original triangle mesh in the median filter method, let T be a triangle mesh, n (T) is the unit normal, A (T) is the area of T, and C (T) is the center of T. N (T) denotes the set of all triangular meshes that share the edges or vertices that form the triangular mesh T. Considering all face normals in the mesh, the position of each mesh vertex P is changed by equations (7) and (8).

Figure 112011048958729-pat00075
Figure 112011048958729-pat00075

Figure 112011048958729-pat00076
Figure 112011048958729-pat00076

여기서, 합은 점 P에 인접하는 모든 삼각형 메쉬에 대해 이루어지고, 도 17(b)의 v(T)는 m(T)의 방향 상에서 벡터

Figure 112009017464522-pat00008
의 투영이다. 도 17(a)는 지역적인 N(T)에서 중심 삼각형 T와 이웃하는 삼각형들을 나타낸 것으로서, n(T)는 원래의 면 법선이고, m(T)는 필터링된 법선이며, 도 17(b)는 수학식 8의 가시적인 표현인 도형이다.Where the sum is for all triangular meshes adjacent to point P, and v (T) in FIG. 17 (b) is a vector in the direction of m (T)
Figure 112009017464522-pat00008
Is the projection of. Figure 17 (a) shows the triangles adjacent to the center triangle T at the local N (T), where n (T) is the original face normal, m (T) is the filtered normal, and Figure 17 (b) Is a figure that is a visual representation of equation (8).

그런데, 이런 라플라시안 방법을 포함한 미분 기하학 접근법들에 기반한 잡음 평활화는 일반적으로 기하학적 특징들에 급격한 변화를 주므로 표현된 영상이 자연스럽 지 못한 문제점이 있었다. However, noise smoothing based on differential geometry approaches, including Laplacian method, has a problem that the displayed image is not natural because it changes the geometrical features in general.

한편, 영상처리에서, 영상의 특징을 보존하는 특성을 가진 비선형 필터 중 중간값 필터를 이용한 노이즈 제거 방법도 최근 도입되었다. 그러나, 상기 중간값 필터가 일반적으로 피크 잡음을 잘 제거하지만, 3차원 데이터에서 가우스 잡음이나 다른 크기의 메쉬들을 효과적으로 제거하지는 못하는 문제점이 있었다. Meanwhile, in image processing, a method of removing noise using a median filter among nonlinear filters having characteristics of preserving the characteristics of an image has also been recently introduced. However, although the median filter generally removes peak noise well, there is a problem in that it does not effectively remove Gaussian noise or meshes of different sizes from three-dimensional data.

한편, 최근에는 3차원 메쉬의 표면 법선 벡터를 이용한 3차원 필터가 이런 잡음을 평활화하는데 사용되고 있다. 하지만, 이런 표면 법선 벡터를 이용한 필터들도 영상으로부터 재구성된 3차원 데이터에 포함된 피크 잡음을 만족스럽게 제거하지 못하는 문제점이 있었다. Recently, three-dimensional filters using surface normal vectors of three-dimensional meshes have been used to smooth these noises. However, even the filters using the surface normal vector do not satisfactorily remove the peak noise included in the reconstructed three-dimensional data from the image.

상기 문제점을 해결하기 위해 본 발명의 목적은, 메쉬의 3차원 면적과 2차원 면적의 비를 이용해서 3차원 메쉬 데이터에 존재하는 피크 잡음과 가우시안 잡음을 검출하고, 잡음의 특성에 따라 이들을 평활화하는, 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법을 제공하는데 있다. In order to solve the above problems, an object of the present invention is to detect peak noise and Gaussian noise present in three-dimensional mesh data by using a ratio of three-dimensional area and two-dimensional area of a mesh, and smooth them according to the characteristics of the noise. In addition, the present invention provides a noise removal system for smoothing three-dimensional data for member searching and a method of removing the same.

상기 목적을 달성하기 위해 본 발명에 따른 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템은 화상 정보를 수신하는 화상 수신부와, 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하는 노이즈 판별부와, 상기 노이즈 판별부에서 해당 화상이 노이즈라고 판별하였을 경우 상기 화상의 메쉬에 관한 좌표를 3차원 부피와 2차원 면적의 차이가 최소로 되는 방향으로 변환시켜 노이즈를 제거하는 노이즈 제거부로 이루어진 것을 특징으로 한다.In order to achieve the above object, a noise removing system for smoothing three-dimensional data for searching for a member according to the present invention includes an image receiving unit for receiving image information, and a ratio of a volume size and an area size with respect to a mesh of an image. A noise judging unit for judging whether the image is noise by comparison, and a direction in which the difference between the three-dimensional volume and the two-dimensional area is minimized in the coordinates of the mesh of the image when the noise judging unit determines that the image is noise. It characterized in that it consists of a noise removing unit for removing the noise by converting to.

한편, 본 발명에 따른 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 방법은 화상 정보를 수신하는 화상 수신 단계와, 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하는 노이즈 판별 단계와, 상기 노이즈 판별부에서 해당 화상이 노이즈라고 판별하였을 경우 상기 화상의 메쉬에 관한 좌표를 3차원 부피와 2차원 면적의 차이가 최소로 되는 방향으로 변환시켜 노이즈를 제거하는 노이즈 제거 단계로 이루어진 것을 특징으로 한다.On the other hand, the noise removal method for smoothing the three-dimensional data for the member search according to the present invention is the image receiving step for receiving the image information, and comparing the ratio of the volume size and the area size with respect to the mesh of the image with a threshold value A noise discrimination step of determining whether the image is noise, and when the noise discriminating unit determines that the image is noise, the coordinates of the mesh of the image are converted into a direction in which the difference between the three-dimensional volume and the two-dimensional area is minimized. Characterized in that the noise removal step of removing the noise.

상기 노이즈 제거 시스템 및 노이즈 제거 방법에서, 상기 노이즈 판별부는 다음 식(1)에 의해, 부등호 좌측의 값이 부등호 우측의 값보다 클 경우 해당 화상을 노이즈로 판별한다.In the noise removing system and the noise removing method, the noise discriminating unit discriminates the image as noise when the value on the left side of the inequality sign is larger than the value on the right side of the inequality code according to the following equation (1).

Figure 112009017464522-pat00009
------------ (1)
Figure 112009017464522-pat00009
------------ (One)

여기서, Vi는 해당 화상의 메쉬에 관한 부피 크기, Si는 해당 화상의 메쉬에 관한 면적 크기,

Figure 112009017464522-pat00010
는 부피크기와 면적 크기에 대한 평균 비율, σ는 상기 평균 비율(
Figure 112009017464522-pat00011
)에 관한 표준 편차임 Where Vi is the volume size for the mesh of the image, Si is the area size for the mesh of the image,
Figure 112009017464522-pat00010
Is the average ratio of the volume size and the area size, and σ is the average ratio (
Figure 112009017464522-pat00011
Is the standard deviation for

본 발명에 따른 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법에 의하면, 특히 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하여 해당 노이즈를 화면에서 제거하므로써 노이즈 제거를 정밀하게 실행할 수 있다. 따라서 보다 깨끗하고 자연스러운 화상을 영상 화면에서 표시할 수 있다.According to the noise removal system for smoothing three-dimensional data for the member search and the method for removing the same according to the present invention, in particular, the ratio of the volume size and the area size with respect to the mesh of the image is compared with a threshold to determine whether the image is noise. The noise can be precisely removed by discriminating and removing the noise from the screen. Therefore, a cleaner and more natural image can be displayed on the video screen.

도 1에 도시된 바와 같이, 화상 정보를 수신하는 화상 수신부(2)는 디지털 카메라 혹은 휴대폰에 설치된 카메라 혹은 기타 화상 정보를 취득할 수 있는 수단이다. As shown in Fig. 1, the image receiving unit 2 for receiving image information is a means capable of acquiring a camera or other image information installed in a digital camera or a mobile phone.

노이즈 판별부(4)는 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하도록 상기 화상 수신부(2)에 접속된 마이크로프로세서이다. The noise discriminating unit 4 is a microprocessor connected to the image receiving unit 2 so as to determine whether the corresponding image is noise by comparing the ratio between the volume size and the area size with respect to the mesh of the image with a threshold value.

노이즈 제거부(6)는 상기 노이즈 판별부(4)에서 해당 화상이 노이즈라고 판별하였을 경우 상기 화상의 메쉬에 관한 좌표를 3차원 부피와 2차원 면적의 차이가 최소로 되는 방향으로 변환시켜 메쉬 정점(높은 점)의 높이를 낮춤으로써 메쉬 정점의 높이를 평활화시켜 사용자의 시야에서 노이즈를 제거하는 마이크로프로세서이다. When the noise discriminating unit 4 determines that the image is noise, the noise removing unit 6 converts the coordinates of the mesh of the image to a direction in which the difference between the three-dimensional volume and the two-dimensional area is minimized. A microprocessor that removes noise from the user's field of view by smoothing the height of the mesh vertices by lowering the height of the (high dot).

표시부(8)는 상기 노이즈 제거부(6)로부터 표시 신호를 받아 노이즈가 제거된 화상을 표시하도록 상기 노이즈 제거부(6)에 접속된 화면으로서, 예를 들면 디지털 카메라의 표시 화면, 휴대폰의 표시화면, 혹은 모니터 등이다. The display unit 8 is a screen connected to the noise removing unit 6 to receive a display signal from the noise removing unit 6 and to display an image from which the noise is removed, for example, a display screen of a digital camera and a display of a mobile phone. Screen or monitor.

상기 노이즈 판별부(4)는 다음 식 (1)에 의해, 화상의 메쉬 정점에 관한 부등호 좌측의 값이 부등호 우측의 값보다 클 경우 해당 화상을 노이즈로 판별하도록 연산식 및 관련 연산에 필요한 데이터가 저장된 메모리(10)에 접속되어 있다. The noise discriminating unit 4 uses the following equation (1) to calculate the data required for the expression and the associated operation so as to discriminate the image as noise when the value on the left side of the inequality sign for the mesh vertex of the image is larger than the value on the right side of the inequality sign. It is connected to the stored memory 10.

Figure 112009017464522-pat00012
------------------ (1)
Figure 112009017464522-pat00012
------------------ (One)

여기서, Vi는 해당 화상의 메쉬에 관한 부피 크기, Si는 해당 화상의 메쉬에 관한 면적 크기,

Figure 112009017464522-pat00013
는 부피크기와 면적 크기에 대한 평균 비율, σ는 상기 평균 비율(
Figure 112009017464522-pat00014
)에 관한 표준 편차임. 여기서 부피의 의미는 메쉬 정점과 메쉬 바닥면인 육각형이 이루는 4면체의 실제 부피를 의미하는 것이 아니고, 상기 사면체의 표면적의 총합을 의미하며, 이하 동일하게, '부피'는 사면체 표면적의 합을 의미하는 것으로 사용된다. Where Vi is the volume size for the mesh of the image, Si is the area size for the mesh of the image,
Figure 112009017464522-pat00013
Is the average ratio of the volume size and the area size, and σ is the average ratio (
Figure 112009017464522-pat00014
Is the standard deviation for. Here, the volume does not mean the actual volume of the tetrahedron formed by the hexagon of the mesh vertex and the mesh bottom surface, but means the sum of the surface areas of the tetrahedron, and equally, the 'volume' means the sum of the tetrahedral surface areas. Used to.

제어부(12)는 상기 화상 수신부(2), 노이즈 판별부(4), 노이즈 제거부(6), 표시부(8) 및 메모리(10)는 상기 노이즈 제거를 위한 화상의 메쉬 정점의 평활 동작을 전체적으로 제어하는 마이크로프로세서이다. The control unit 12 is the image receiving unit 2, the noise discriminating unit 4, the noise removing unit 6, the display unit 8 and the memory 10 performs the smoothing operation of the mesh vertices of the image to remove the noise as a whole The controlling microprocessor.

상기 제어부(12), 노이즈 판별부(4), 노이즈 제거부(6)는 본 실시예에서와 같이 별도의 마이크로프로세서로 구성될 수도 있고, 혹은 하나의 마이크로프로세서 내에서 각각의 영역을 가지는 형태로 구성될 수도 있다. The control unit 12, the noise discriminating unit 4, and the noise removing unit 6 may be configured as separate microprocessors as in the present embodiment, or may have respective regions in one microprocessor. It may be configured.

이하 상기와 같이 구성된 본 발명의 일실시예에 의한 3차원 데이터에 대한 노이즈 제거 시스템과 연관하여 본 발명의 일실시예에 의한 3차원 데이터에 대한 노이즈 제거 시스템의 제어 방법을 도 2를 참조하여 설명한다.Hereinafter, a method of controlling a noise removing system for three-dimensional data according to an embodiment of the present invention in connection with a noise removing system for three-dimensional data according to an embodiment of the present invention configured as described above will be described with reference to FIG. 2. do.

먼저 상기 화상 수신부(2)에서 임의의 물체(사람을 포함함)에 대한 화상을 인식한다(S1). First, the image receiving unit 2 recognizes an image of an arbitrary object (including a person) (S1).

다음에 단계S2에서, 상기 화상 수신부(2)에서 상기 노이즈 판별부(4)로 화상 신호가 전송된다. 이어서 상기 노이즈 판별부(4)는 상기 화상 신호를 다수의 사각형으로 이루어진 메쉬 데이터로 변환한다. 이어서 각 메쉬의 정점을 산출한다. Next, in step S2, an image signal is transmitted from the image receiving section 2 to the noise discriminating section 4. The noise discriminating unit 4 then converts the image signal into mesh data consisting of a plurality of squares. Next, the vertices of each mesh are calculated.

다음에 단계S3에서 상기 노이즈 판별부(4)는 상기 식 (1)에 의해 메쉬의 3차원 면적의 합과 메쉬의 2차원 면적의 비율(Rn)이 문턱값(

Figure 112009017464522-pat00015
+ σ)보다 큰가를 판별하여, 상기 메쉬의 3차원 면적의 합과 메쉬의 2차원 면적의 비율(Rn)이 문턱값(
Figure 112009017464522-pat00016
+ σ)보다 클 경우에, 단계S4에서 해당 화상의 메쉬 정점을 노이즈로 판별한다.Next, in step S3, the noise discriminating unit 4 determines that the ratio (Rn) of the sum of the three-dimensional areas of the mesh and the two-dimensional area of the mesh is represented by the equation (1).
Figure 112009017464522-pat00015
is determined to be greater than + sigma, and the ratio Rn of the sum of the three-dimensional areas of the mesh and the two-dimensional area of the mesh
Figure 112009017464522-pat00016
If larger than + sigma), the mesh vertices of the image are discriminated as noise in step S4.

다음에 단계S5에서, 상기 노이즈 판별부(4)로부터 상기 노이즈 제거부(6)로 화상 신호 및 판별 결과 신호가 전송된다. 이어서 상기 노이즈 제거부(6)는 다음의 식 (2)에 따라 노이즈로 판별된 화상의 정점의 높이(Pold)를 수정할 수정량에 해당하는 수정 높이(D)를 산출한다. Next, in step S5, an image signal and a discrimination result signal are transmitted from the noise discriminating section 4 to the noise removing section 6. The noise removing unit 6 then calculates a correction height D corresponding to a correction amount for correcting the height P old of the vertex of the image determined as noise according to the following equation (2).

Figure 112009017464522-pat00017
-------------- (2)
Figure 112009017464522-pat00017
-------------- (2)

Vi는 해당 화상의 메쉬에 관한 부피 크기, Si는 해당 화상의 메쉬에 관한 면적 크기,

Figure 112009017464522-pat00018
는 부피크기와 면적 크기에 대한 평균 비율, σ는 상기 평균 비율(
Figure 112009017464522-pat00019
)에 관한 표준 편차임Vi is the volume size for the mesh of the image, Si is the area size for the mesh of the image,
Figure 112009017464522-pat00018
Is the average ratio of the volume size and the area size, and σ is the average ratio (
Figure 112009017464522-pat00019
Is the standard deviation for

다음에 상기 노이즈 제거부(6)는 상기 식 (2)에 의거 산출한 수정 높이(D)를 기초로, 각 노이즈에 해당하는 화상의 메쉬 정점의 좌표를 다음의 식(3)에 따라, 이동시켜, 메쉬 정점의 높이(Pold)를 낮추어 새로운 메쉬 정점의 높이(Pnew)를 갖도록 한다Next, the noise removing unit 6 moves the coordinates of the mesh vertices of the image corresponding to each noise based on the correction height D calculated based on the above expression (2) according to the following equation (3). Lower the height of the mesh vertices (P old ) to have the height of the new mesh vertices (P new ).

Pnew = Pold + D ----------- (3) P new = P old + D ----------- (3)

즉, 3D(3차원)에서 새롭게 업데이트되는 점 Pnew는 도 9의 오른쪽 도형에서처럼 점 Pold의 법선 벡터 NP의 반대 방향으로 놓여짐으로써 메쉬 정점들이 평활화된다. 따라서 피크 노이즈들이 효과적으로 제거된다. That is, the newly updated point P new in 3D (three-dimensional) is placed in the opposite direction of the normal vector N P of the point P old as shown in the figure on the right of Figure 9 smoothes the mesh vertices. Therefore, peak noises are effectively removed.

다음에 상기 노이즈 제거부(6)로부터 상기 표시부(8)로, 메쉬 정점이 평활화되어 노이즈가 제거된 화상 신호가 출력된다. 이어서 상기 표시부(8)에서는 노이즈 가 제거된 매끄럽고 자연스런 화면이 출력된다. Next, from the noise removing unit 6 to the display unit 8, a mesh vertex is smoothed and an image signal from which noise is removed is output. Subsequently, the display unit 8 outputs a smooth and natural screen from which noise is removed.

<본 발명에 따른 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법의 수학적, 기하학적인 근거에 대한 설명><Description of Mathematical and Geometric Basis of Noise Reduction System for Smoothing 3D Data for Member Retrieval and Its Removal Method According to the Present Invention>

스캐너나 3차원 재구성 방법에 의해 복원된 3차원 데이터를 메쉬화를 하면 도 4처럼 점 P에 인접한 메쉬들을 갖는다. 도 4는 일반적인 노이즈 분석을 통한 메쉬 평활화 방법에서, 점 P를 공유하는 6개의 삼각형 메쉬를 나타낸 6각뿔 형상의 도형이다.피크 노이즈을 검출하고 평활화하기 위해 점 P에 인접한 3차원 메쉬의 면적(부피)과 투영된 2차원 메쉬의 면적을 이용한다. When the 3D data reconstructed by the scanner or the 3D reconstruction method is meshed, the meshes adjacent to the point P are shown in FIG. 4. Fig. 4 is a hexagonal shape showing six triangular meshes sharing a point P in a mesh smoothing method through a general noise analysis. The area (volume) of a three-dimensional mesh adjacent to the point P to detect and smooth the peak noise. And the area of the projected two-dimensional mesh.

투영된 2차원 메쉬는 다음과 같이 만들어진다. 도 5에서 점 P를 공유하는 메쉬들의 법선 벡터 Ni를 계산한 후에, 수학식 9처럼 인접한 메쉬들의 법선 벡터의 평균으로 점 P의 법선 벡터 NP를 구한다. 도 5는 일반적인 방법에서, 점 P와 이웃하는 삼각형 메쉬들로 NP는 점 P의 법선 벡터, N들은 점 P를 공유하는 삼각형 메쉬들의 법선 벡터를 나타낸 도형이다. 여기서, n은 점 P에 인접한 메쉬들의 개수이다. 점 P를 법선 벡터 NP의 반대방향으로 투영한다. The projected two-dimensional mesh is created as follows. After calculating the normal vector Ni of the meshes sharing the point P in FIG. 5, the normal vector NP of the point P is obtained as an average of the normal vectors of adjacent meshes as shown in Equation (9). FIG. 5 is a diagram illustrating a normal vector of a point P, N is a normal vector of a triangle P, and N is a triangle vector neighboring a point P. Where n is the number of meshes adjacent to point P. Project point P in the direction opposite to normal vector NP.

Figure 112011048958729-pat00077
Figure 112011048958729-pat00077

위 과정을 거치면 도 6에서 보는 것처럼 3차원 메쉬 데이터와 점 P가 투영된 2차원 메쉬 데이터를 얻을 수 있다. 도 6은 3차원 공간에서 메쉬들의 구성(왼쪽)과 법선 벡터 NP에 수직하게 투영된 메쉬의 2차원 형태 (오른쪽)이다. Through the above process, as shown in FIG. 6, two-dimensional mesh data in which the three-dimensional mesh data and the point P are projected can be obtained. 6 is a two-dimensional form (right) of the mesh projected perpendicular to the normal vector NP and the configuration of the meshes (left) in three-dimensional space.

이렇게 얻어진 3차원 메쉬와 2차원 메쉬에서 각각의 면적을 계산한다. 먼저, 3차원 메쉬의 면적(부피) 계산 과정을 알아보고 2차원 메쉬의 면적을 계산 과정을 살펴본다. The areas of the three-dimensional and two-dimensional meshes thus obtained are calculated. First, the process of calculating the area (volume) of the 3D mesh is described and the process of calculating the area of the 2D mesh is described.

3차원 메쉬의 면적은 다음과 같이 구해진다. 여기서 3차원 메쉬의 면적을 '부피'라고도 호칭한다. 3차원 메쉬의 기본적인 면적 계산 단위는 사면체이다. 삼각형 메쉬의 각 정점과 원점을 연결하여 사면체를 형성한다. 각 사면체는 부호를 갖는 면적으로 계산된다. 계산된 값의 크기가 사면체의 면적이고, 부호는 원점이 삼각형의 법선과 같은 방향에 있는지 반대 방향에 있는지를 검사한다. 도 7에서 삼각형 ABC는 법선 NABC를 갖는다. 사면체 OABC의 부피는 수학식 10과 같다. The area of the three-dimensional mesh is obtained as follows. Here, the area of the three-dimensional mesh is also referred to as 'volume'. The basic area calculation unit of a three-dimensional mesh is tetrahedrons. Each vertex and origin of the triangular mesh are connected to form a tetrahedron. Each tetrahedron is calculated with a sign area. The magnitude of the calculated value is the area of the tetrahedron, and the sign checks whether the origin is in the same or opposite direction as the triangle normal. In Figure 7, triangle ABC has a normal NABC. The volume of the tetrahedral OABC is shown in Equation 10.

Figure 112009017464522-pat00021
Figure 112009017464522-pat00021

원점이 NABC의 반대 방향에 있어서 사면체 OABC의 부호는 양수이다. 메쉬의 3차원 면적은 수학식 11 및 수학식 12와 같다. The sign of the tetrahedral OABC is positive in the opposite direction of NABC. The three-dimensional area of the mesh is shown in equations (11) and (12).

Figure 112009017464522-pat00022
Figure 112009017464522-pat00022

Figure 112011048958729-pat00078
Figure 112011048958729-pat00078

여기서, i는 삼각형 또는 기본적인 사면체를 의미한다. (xi1, yi1, zi1), (xi2, yi2, zi2) 와 (xi3, yi3, zi3) 삼각형 i의 정점들 좌표이다. 도 7과 같은 3차원 메쉬의 면적은 항상 양수이므로, 최종 결과는 Vtotal의 절대값을 취해서 얻어진다. 도 7과 같이. 3차원 메쉬 면적은 각 삼각형의 면적을 계산하고, 각 삼각형 면적의 합으로 계산한다. Here, i means triangle or basic tetrahedron. Coordinates of the vertices of (xi1, yi1, zi1), (xi2, yi2, zi2) and (xi3, yi3, zi3) triangles i. Since the area of the three-dimensional mesh as shown in Fig. 7 is always positive, the final result is obtained by taking the absolute value of Vtotal. As shown in FIG. The three-dimensional mesh area calculates the area of each triangle and calculates the sum of the area of each triangle.

메쉬의 2차원 면적은 다음과 같이 구해진다. 2차원 메쉬는 다각형 윤곽인 폴리곤이다. 도 8에서 선으로 이루어진 2차원 메쉬를 가정하자. 원점과 폴리곤의 정점을 연결하는 삼각형 집합을 만든다. 도 8은 2D 메쉬의 폴리곤(다각형)의 면적을 나타낸 도형이다. 각 에지와 원점은 기본적인 삼각형을 형성한다. 도 9에서 삼각형OA'B'를 만들면, 수학식 13처럼 삼각형OA'B'의 면적이 계산된다.The two-dimensional area of the mesh is obtained as follows. Two-dimensional meshes are polygons that are polygonal contours. Assume a two-dimensional mesh of lines in FIG. 8. Create a set of triangles connecting the origin and vertices of the polygon. 8 is a diagram showing the area of polygons (polygons) of the 2D mesh. Each edge and origin forms a basic triangle. When the triangle OA'B 'is made in FIG. 9, the area of the triangle OA'B' is calculated as in Equation 13.

Figure 112009017464522-pat00024
Figure 112009017464522-pat00024

다음에, 각 삼각형의 면적은 수학식 14와 같이 계산한다..Next, the area of each triangle is calculated as shown in equation (14).

Figure 112009017464522-pat00025
|
Figure 112009017464522-pat00025
|

여기서, i는 모든 에지나 기본적인 삼각형들의 인덱스이고,

Figure 112009017464522-pat00026
Figure 112009017464522-pat00027
는 시점과 끝점의 좌표이다. 메쉬의 2차원 면적은 수학식 15와 같이, 모든 면적의 합으로 계산된다. Where i is the index of all edges or fundamental triangles,
Figure 112009017464522-pat00026
and
Figure 112009017464522-pat00027
Is the coordinates of the start and end points. The two-dimensional area of the mesh is calculated as the sum of all areas, as shown in equation (15).

Figure 112011048958729-pat00079
Figure 112011048958729-pat00079

위의 결과를 이용해서 메쉬 데이터의 각 정점에서 인접 메쉬들의 3차원 면적과 2 차원 투영 면적의 비, |Vtotal|/|Stotal|를 계산할 수 있다. 면적 비의 평균

Figure 112009017464522-pat00029
은 수학식 16으로부터 얻어진다.Using the above results, we can calculate the ratio of the three-dimensional and two-dimensional projected areas, | Vtotal | / | Stotal |, of adjacent meshes at each vertex of the mesh data. Average of area ratio
Figure 112009017464522-pat00029
Is obtained from equation (16).

Figure 112011048958729-pat00080
, n은 메쉬의 갯수
Figure 112011048958729-pat00080
, n is the number of meshes

피크 노이즈의 경우, 수학식 17처럼 2D와 3D의 면적비가 평균 면적비와 표준편차의 합보다 크다면 이러한 점은 피크 노이즈로 간주한다.In the case of peak noise, this point is regarded as peak noise if the area ratio of 2D and 3D is larger than the sum of the average area ratio and the standard deviation as shown in Equation 17.

Figure 112009017464522-pat00031
Figure 112009017464522-pat00031

상기 수학식 17에 의해 피크 노이즈으로 검출된 점들은 3D에서 각 점 P의 인접한 메쉬의 면적 합과 2D에서 투영된 메쉬의 면적 합의 정보를 가지고 있다. 그러므로, 도 9에서 보는 것처럼, 피크 노이즈으로 간주된 점 Pold에서 2차원 면적과 3차원 부피의 차이가 최소가 되는 거리(D)는 수학식 18과 같이 계산된다. 도 9는 피 크 노이즈으로 인식된 점은 D의 거리만큼 좌표가 변환되는 것을 나타낸 도형으로서, 도 9의 왼쪽 도형은 피크 노이즈으로 간주된 점(Pold)을 나타내고, 도 9의 오른쪽 도형은 D만큼 좌표가 보정된 점(Pnew)을 나타낸다.Points detected as peak noise by Equation 17 have information on the sum of the areas of adjacent meshes of each point P in 3D and the area sum of the meshes projected in 2D. Therefore, as shown in FIG. 9, the distance D at which the difference between the two-dimensional area and the three-dimensional volume becomes the minimum at the point P old regarded as peak noise is calculated as in Equation 18. FIG. 9 is a diagram illustrating that coordinates are transformed by a distance D as a point recognized as peak noise, and the figure on the left shows a point P old regarded as peak noise, and the figure on the right of FIG. Represents a point (P new ) whose coordinates have been corrected.

Figure 112009017464522-pat00032
Figure 112009017464522-pat00032

3D에서 새롭게 업데이트되는 점 Pnew는 도 9의 오른쪽 도형에서처럼 점 Pold의 법선 벡터 NP의 반대 방향으로 놓여진다. 이와 같이, 피크 노이즈은 수학식 19에 의해 효과적으로 제거된다. The newly updated point P new in 3D lies in the opposite direction of the normal vector N P of point P old as in the figure on the right in FIG. 9. In this way, the peak noise is effectively removed by the equation (19).

Pnew = Pold + D P new = P old + D

<실험 결과><Experiment Result>

(제1 실험 예)(Example 1 Experiment)

다음에는 본 발명의 방법에 대하여 실험한 결과를 설명한다.Next, the results of experiments on the method of the present invention will be described.

다양한 방법으로 취득된 3차원 데이터를 가지고 제안된 연구의 성능을 실험하였다. 레이저 스캐너로부터 얻어진 3D 데이터, 컴퓨터로 만든 3D 데이터 그리고 컴퓨터(스테레오) 비전을 이용해서 얻어진 3D 데이터에 노이즈을 추가해서 실험을 하였다. 피크 노이즈과 가까운 메쉬의 면적은 물체를 구성하는 다른 메쉬들보다 표면적이 크다. 이러한 피크 노이즈의 특성을 이용하면, 3D 데이터에서 인접한 3D 메쉬의 면적과 투영된 2D 면적의 비에 의해 도 10(a)처럼 피크 노이즈을 검출할 수 있다. 피크 노이즈점에 인접한 메쉬들의 면적을 줄이기 위한 제한을 2D/3D 메쉬 면적비에 따라 적용한다면, 피크 노이즈은 도 10(b)처럼 효과적으로 평활화 된다. 도 10(c)와 (d)는 각각 특정 부분의 피크 노이즈을 확대한 영상과 그 부분에서 피크 노이즈이 평활화된 영상이다. 도 10은 3D 레이저 스캐너로 얻어진 데이터에서의 노이즈와 2D/3D 메쉬 면적비를 이용하여 노이즈을 제거한 결과의 영상으로서, (a)는 노이즈 검출, (b)는 노이즈 평활화 결과, (c)는 도10(a)의 확대 영상, (d)는 도10(b)의 확대 영상이다.The performance of the proposed study was tested with three-dimensional data obtained by various methods. The experiment was performed by adding noise to 3D data obtained from a laser scanner, 3D data generated by a computer, and 3D data obtained using a computer (stereo) vision. The area of the mesh close to the peak noise has a larger surface area than the other meshes constituting the object. Using the characteristic of the peak noise, it is possible to detect the peak noise as shown in Figure 10 (a) by the ratio of the area of the adjacent 3D mesh and the projected 2D area in the 3D data. If a limit for reducing the area of the meshes adjacent to the peak noise point is applied according to the 2D / 3D mesh area ratio, the peak noise is effectively smoothed as shown in FIG. 10 (b). 10 (c) and 10 (d) show an enlarged image of peak noise of a specific portion and an image of which peak noise is smoothed in that portion, respectively. FIG. 10 is an image obtained by removing noise by using a noise and 2D / 3D mesh area ratio in data obtained by a 3D laser scanner, (a) indicates noise detection, (b) indicates noise smoothing result, and (c) illustrates FIG. An enlarged image of (a), (d) is an enlarged image of Figure 10 (b).

도 11은 제안한 피크 노이즈 검출 방법으로 위의 자기(ceramic ware) 영상에 대한 3D 데이터의 면적비를 표현한 그래프이다. 즉, 도 11은 각 정점에서 메쉬의 2D/3D 면적비를 나타낸 그래프이다. 피크 노이즈으로 인식되는 면적비의 문턱치 값은 2.43258이다. 11 is a graph representing the area ratio of 3D data with respect to the above (ceramic ware) image by the proposed peak noise detection method. That is, FIG. 11 is a graph showing the 2D / 3D area ratio of the mesh at each vertex. The threshold value of the area ratio recognized as peak noise is 2.43258.

위의 자기(ceramic ware) 영상에 대한 3D 데이터의 정점 수는 10,764개이고, 피크 노이즈으로 검출된 정점의 수는 113개이다. 3D 데이터에 추가한 107개의 피크 노이즈의 대부분이 검출되었고, 평활화 되었다. 표 1은 면적의 변화와 평균 거리 차이를 정량적인 값으로 보여준다. 면적은 각 정점이 이루고 있는 삼각형 메쉬의 면적이고, 평균 거리는 노이즈으로 판단되는 정점의 원래 좌표와 노이즈효과로 변화된 좌표간 거리의 평균이다. 2D/3D 면적비를 이용한 노이즈 평활화 방법에 의해 피크 노이즈가 효과적으로 제거됨을 알 수 있다.The number of vertices of the 3D data for the above-mentioned magnetic ware image is 10,764 and the number of vertices detected by the peak noise is 113. Most of the 107 peak noises added to the 3D data were detected and smoothed. Table 1 shows quantitative values of the change in area and the difference in average distance. The area is the area of the triangular mesh that each vertex forms, and the average distance is the average of the distances between the original coordinates of the vertices determined as noise and the coordinates changed by the noise effect. It can be seen that the peak noise is effectively removed by the noise smoothing method using the 2D / 3D area ratio.

3D 데이터에 노이즈을 추가하고 제거했을 때, 면적과 평균 거리 오차의 변화Changes in area and average distance error when noise is added and removed from 3D data 메쉬 데이터의 면적 Area of mesh data 평균 거리 오차Average distance error 3D 데이터3D data 8085.29779(100%)8085.29779 (100%) -- 노이즈 추가Add noise 8622.98630(106.65%)8622.98630 (106.65%) 0.3269970.326997 노이즈 제거Noise reduction 8238.51752(101.89%)8238.51752 (101.89%) 0.1082640.108264

(제2 실험 예)(Example 2 Experiment)

다음은 컴퓨터로 만들어진 창문(Window) 형태의 3D 데이터로 제안한 알고리즘의 성능을 비교하였다. 도 12a의 왼쪽 화상에 피크 노이즈와 가우스 노이즈 추가를 하면, 도 12a의 오른쪽 화상과 같이 에지와 경계부분에 많은 변화가 발생한다. 변형된 데이터에 중간값 필터와 2D/3D 면적비를 이용한 방법을 적용해서 노이즈을 제거한 결과의 화상이 각각 도 12b의 왼쪽과 오른쪽에 보여진다. 도 12는 컴퓨터로 만들어진 화상 데이터에 대한 실험 결과로서, (도 12a의 왼쪽) 3D 데이터, (도 12a의 오른쪽) 노이즈가 추가된 화상, (도 12b의 왼쪽) 중간값 필터로 노이즈를 평활화 한 결과, (도 12b의 오른쪽) 본 발명에 따른 평활화 방법의 노이즈 평활화 결과의 화상이다. 종래의 중간값 평활화 방법은 물체의 에지나 경계선 부분에서 노이즈를 효과적으로 제거하지 못하고, 물체 내부에 존재하는 노이즈도 여전히 많은 부분이 남아 있음을 볼 수 있다. 본 발명의 평활화 방법은 종래의 중간값 평활화 방법과는 다르게 물체의 에지나 경계선 부분의 노이즈을 잘 제거하였고, 물체 내부의 노이즈 제거도 더 좋은 성능을 보였다.Next, we compare the performance of the proposed algorithm with computer-generated window-shaped 3D data. When the peak noise and the Gaussian noise are added to the left image of FIG. 12A, many changes occur at the edge and the boundary portion as shown in the right image of FIG. 12A. Images of the result of removing noise by applying the method using the median filter and the 2D / 3D area ratio to the deformed data are shown on the left and right sides of Fig. 12B, respectively. FIG. 12 shows experimental results of computer-generated image data, in which 3D data (left side of FIG. 12A), noise-added image (right side of FIG. 12A), and a result of smoothing noise with a median filter (left side of FIG. 12B) 12B is an image of the noise smoothing result of the smoothing method according to the present invention. Conventional median smoothing method does not effectively remove the noise at the edge or boundary portion of the object, it can be seen that there is still a lot of noise existing inside the object. The smoothing method of the present invention removes noise at edges or boundary portions of an object differently from the conventional median smoothing method, and also shows better performance in removing noise inside the object.

도 13은 위의 창문(Window) 데이터에서 각 정점이 형성하는 메쉬의 2D/3D 면적비를 나타낸 그래프이다. 2D/3D 면적비를 이용한 노이즈 평활화 방법에 의해 피크 노이즈를 효과적으로 제거할 수 있음을 알 수 있다. 피크 노이즈으로 인식되는 면적비의 문턱치 값은 2.43258이다.FIG. 13 is a graph showing a 2D / 3D area ratio of a mesh formed by each vertex in the above window data. It can be seen that the peak noise can be effectively removed by the noise smoothing method using the 2D / 3D area ratio. The threshold value of the area ratio recognized as peak noise is 2.43258.

도 14는 노이즈 검출 반복 횟수에 따른 종래의 방법(라플라시안, 중간값)과 본 발명에 따른 방법의 오차의 비교를 나타낸 그래프이다. 즉, 도 14는 반복 횟수에 따른 노이즈로 판단되는 각 정점에서 종래 방법에 따른 좌표와 수정된 좌표 간의 거리의 합을 평균해서 종래 기술의 방법과 본 발명의 방법에 따른 성능을 비교한 그래프이다. 본 발명에 따른 메쉬 정점의 평활화 방법도 다른 기존 방법들과 마찬가지로 반복적인 처리가 이루어짐에 따라 오차가 현격히 줄어든다. 도 14에 나타난 바와 같이, 반복 횟수는 실험을 통해서 20회 이하가 적당한 걸로 확인되었다. 20회 이상으로 노이즈 평활화를 반복하여도 오차의 변화가 없었다. 도 14에서 보는 것처럼 제안한 노이즈 평활화 방법은 10회 반복 이후부터는 오차가 일정하게 유지됨을 볼 수 있다.14 is a graph showing a comparison of the error between the conventional method (Laplacian, the median) and the method according to the present invention according to the number of times of noise detection repetition. That is, FIG. 14 is a graph comparing the performance of the conventional method and the method of the present invention by averaging the sum of the distances between the coordinates according to the conventional method and the modified coordinates at each vertex determined as the noise according to the number of repetitions. In the smoothing method of the mesh vertices according to the present invention, as in other conventional methods, as the repetitive processing is performed, the error is greatly reduced. As shown in FIG. 14, the number of repetitions was confirmed to be 20 or less through experiments. There was no change in the error even after noise smoothing was repeated 20 times or more. As shown in FIG. 14, the proposed noise smoothing method can be seen that the error remains constant after 10 iterations.

도 1은 본 발명의 일실시예에 의한 3차원 데이터의 노이즈 제거 시스템의 제어 블록도, 1 is a control block diagram of a noise reduction system of three-dimensional data according to an embodiment of the present invention;

도 2는 본 발명의 일실시예에 의한 3차원 데이터의 노이즈 제거 방법의 플로우챠트,2 is a flowchart of a method for removing noise of 3D data according to an embodiment of the present invention;

도 3은 본 발명에 의해 영상 신호가 처리되는 과정을 개략적으로 나타낸 순서, 3 is a flowchart schematically illustrating a process of processing an image signal according to the present invention;

도 4는 일반적인 노이즈 분석을 통한 메쉬 평활화 방법에서, 점 P를 공유하는 6개의 삼각형 메쉬를 나타낸 6각뿔 형상의 도형,4 is a hexagonal shape figure showing six triangular meshes sharing a point P in a mesh smoothing method through a general noise analysis;

도 5는 일반적인 방법에서, 점 P와 이웃하는 삼각형 메쉬들로 NP는 점 P의 법선 벡터, N들은 점 P를 공유하는 삼각형 메쉬들의 법선 벡터를 나타낸 도형FIG. 5 is a diagram illustrating a normal vector of triangle meshes in which NP is a point P and N is a triangular mesh sharing point P in a general method, with neighboring triangle meshes as point P. FIG.

도 6은 일반적인 방법에서, 3차원 공간에서 메쉬들의 구성(왼쪽)과 법선 벡터 NP에 수직하게 투영된 메쉬의 2차원 형태(오른쪽)를 나타낸 도형, 6 is a diagram showing the configuration of the meshes in the three-dimensional space (left) and the two-dimensional shape (right) of the mesh projected perpendicular to the normal vector NP in a general method,

도 7은 본 발명에 따른 3차원 메쉬 면적을 계산하는 방식을 나타낸 도형, 7 is a diagram illustrating a method of calculating a three-dimensional mesh area according to the present invention;

도 8은 본 발명에 따른 다각형의 면적을 계산하는 방식을 나타낸 도형,8 is a diagram illustrating a method of calculating the area of a polygon according to the present invention;

도 9는 본 발명에 따라, 피크 잡음으로 인식된 점이 D의 거리만큼 좌표가 변환되는 과정으로서, 9 is a process in which coordinates are transformed by a distance D as a point recognized as peak noise according to the present invention.

도 9(a)는 피크 잡음으로 간주된 점(Pold)을 나타낸 도형,9 (a) is a diagram showing a point P old regarded as peak noise,

도 9(b)는 D만큼 좌표가 보정된 점(Pnew)을 나타낸 도형,9 (b) is a diagram showing a point P new whose coordinates are corrected by D,

도 10은 본 발명의 실험 결과로서, 노이즈가 제거되기 전과 후의 영상 변화를 나타낸 영상,10 is an experimental result of the present invention, the image showing the image change before and after the noise is removed,

도 11은 도 10과 연관하여, 각 정점에서 메쉬의 2D/3D 면적비, 11 is a 2D / 3D area ratio of the mesh at each vertex,

도 12는 본 발명의 다른 실험 결과로서, 컴퓨터로 만들어진 데이터로서, 노이즈가 제거되기 전과 후의 영상 변화를 나타낸 영상으로서,FIG. 12 is a computer generated data as another experimental result of the present invention, showing an image change before and after noise is removed.

도 12(a)는 3차원(3D)의 최초 데이터로서 표현된 영상과 노이즈가 추가된 영상,12 (a) shows an image represented as initial data in three dimensions (3D) and an image added with noise;

도 12(b)는 중간값 필터로 노이즈를 평활화한 결과를 나타낸 영상과 본 발명의 노이즈 제거 방법에 따라 노이즈 평활화한 결과를 나타낸 창문의 영상,12 (b) is an image showing the result of smoothing the noise with the median filter, an image of the window showing the result of noise smoothing according to the noise removing method of the present invention,

도 13은 도 12와 연관하여, 각 메쉬의 정점에서 2D/3D 면적비를 나타낸 그래프, FIG. 13 is a graph showing a 2D / 3D area ratio at the vertices of each mesh in relation to FIG. 12;

도 14는 기존 방법들{(라플라시안 방법, 중간값 방법)}과 본 발명에 따른 노이즈 제거 방법을 비교하여 나타낸 메쉬의 꼭지점과 영상 표현 반복횟수의 상관관계 그래프.14 is a correlation graph of the vertex of the mesh and the image representation repetition frequency comparing the existing methods {(Laplacian method, median method)} with the noise removing method according to the present invention.

도 15는 종래 기술에 의한 노이즈 제거 방법의 결과를 나타낸 예시 화면으로서, 우측에서 첫번째는 토러스 모델, 우측에서 두번째는 도 15(b)는 노이즈이 추가된 모델, 우측에서 3번째는 도 15(c)는 라플라시안 필터로 평활화된 모델, 우측에서 4번째는 중간값 필터로 평활화된 모델을 나타낸 화면,FIG. 15 is an exemplary screen showing a result of a noise removing method according to the prior art, in which a torus model is shown on the right side of the screen, and FIG. 15 (b) shows a model to which noise is added from the right side, and FIG. Shows the model smoothed with the Laplacian filter, the fourth from the right is the model smoothed with the median filter,

도 16은 종래 기술에 의한 메쉬의 정점 p을 기하학적으로 나타낸 도형으로서, 왼쪽 도형은 정점 P에 이웃하는 메쉬 정점들의 1차원적인 링, 오른쪽 도형은 정점들과 에지(xi-xj)에 인접한 삼각형의 에지 각도(αj,βj),FIG. 16 is a geometrical representation of the vertex p of the mesh according to the prior art, in which the left figure is a one-dimensional ring of mesh vertices adjacent to vertex P, and the right figure is a triangle adjacent to vertices and edges (xi-xj). Edge angles (αj, βj),

도 17은 종래 기술에 따른 중간값 필터 방법에서 삼각형 메쉬 표현을 나타낸 도형으로서, 왼쪽 도형은 지역적인 N(T)에서 중심 삼각형 T와 이웃하는 삼각형들을 나타낸 것이고, 오른쪽 도형은 수학식 8의 가시적인 표현인 도형.FIG. 17 is a diagram illustrating a triangular mesh representation in a median filter method according to the prior art, in which a figure on the left shows triangles adjacent to a center triangle T at a local N (T), and a figure on the right is a visual representation of Equation 8 A shape that is an expression.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

2 : 화상 수신부 4 : 노이즈 판별부2: image receiving unit 4: noise discriminating unit

6 : 노이즈 제거부 8 : 표시부6: noise removing unit 8: display unit

12: 제어부 D : 수정 높이12: control unit D: correction height

Claims (4)

삭제delete 삭제delete 삭제delete 화상 정보를 수신하는 화상 수신 단계(a)와,An image receiving step (a) of receiving image information, 화상의 메쉬에 관한 부피 크기와 면적 크기의 비를 문턱값과 비교하여 해당 화상이 노이즈인가를 판별하는 노이즈 판별 단계(b)와, A noise discrimination step (b) of comparing the ratio between the volume size and the area size with respect to the mesh of the image with a threshold to determine whether the image is noise; 상기 노이즈 판별 단계에서 해당 화상이 노이즈라고 판별하였을 경우 상기 화상의 메쉬에 관한 좌표를 3차원 부피와 2차원 면적의 차이가 최소로 되는 방향으로 변환시켜 노이즈를 제거하는 노이즈 제거 단계(c)로 이루어진 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 방법에 있어서,In the noise discrimination step, when the image is determined to be noise, a noise removing step (c) is performed to convert the coordinates of the mesh of the image to a direction in which the difference between the three-dimensional volume and the two-dimensional area is minimized to remove the noise. In the noise removal method for smoothing three-dimensional data for the member search, 상기 노이즈 판별 단계(b)는, The noise determination step (b), 다음 식(1)에 의해 실행되어 부등호 좌측의 값이 부등호 우측의 값보다 클 경우 해당 화상을 노이즈로 판별하고;The image is discriminated as noise when the value on the left side of the inequality sign is larger than the value on the right side of the inequality sign, executed by the following equation (1);
Figure 112011048958729-pat00057
------- (1)
Figure 112011048958729-pat00057
------- (One)
여기서, Vi는 해당 화상의 메쉬에 관한 부피 크기, Si는 해당 화상의 메쉬에 관한 면적 크기,
Figure 112011048958729-pat00058
는 부피크기와 면적 크기에 대한 평균 비율, σ는 상기 평균 비율(
Figure 112011048958729-pat00059
)에 관한 표준 편차임.
Where Vi is the volume size for the mesh of the image, Si is the area size for the mesh of the image,
Figure 112011048958729-pat00058
Is the average ratio of the volume size and the area size, and σ is the average ratio (
Figure 112011048958729-pat00059
Is the standard deviation for.
상기 노이즈 제거 단계(c)는, The noise removing step (c), 다음의 식 (2)에 따라 노이즈로 판별된 화상의 정점의 높이(Pold)를 수정할 수정량에 해당하는 수정 높이(D)를 산출하는 단계(c-1)와; Calculating a correction height D corresponding to a correction amount for correcting the height P old of the vertex of the image determined as noise according to the following equation (2);
Figure 112011048958729-pat00060
------ (2)
Figure 112011048958729-pat00060
------ (2)
여기서, Vi는 해당 화상의 메쉬에 관한 부피 크기, Si는 해당 화상의 메쉬에 관한 면적 크기,
Figure 112011048958729-pat00061
는 부피 크기와 면적 크기에 대한 평균 비율, σ는 상기 평균 비율(
Figure 112011048958729-pat00062
)에 관한 표준 편차임.
Where Vi is the volume size for the mesh of the image, Si is the area size for the mesh of the image,
Figure 112011048958729-pat00061
Is the average ratio of volume size to area size, and σ is the average ratio (
Figure 112011048958729-pat00062
Is the standard deviation for.
상기 수정 높이(D)를 기초로, 각 노이즈에 해당하는 화상의 메쉬 정점의 좌표를 다음의 식(3)에 따라 이동시켜, 메쉬 정점의 높이(Pold)를 낮추어 새로운 메쉬 정점의 높이(Pnew)를 갖도록 하는 단계(c-1);를 포함하여 이루어지되, Based on the correction height D, the coordinates of the mesh vertices of the image corresponding to each noise are moved according to the following equation (3), the height of the mesh vertices P old is lowered, and the height of the new mesh vertices P (c-1) to have new ); Pnew = Pold + D ---- (3) P new = P old + D ---- (3) 상기 해당 화상의 메쉬에 관한 부피 크기(Vi)는, Size volume (V i) of the mesh of the associated picture, 다음의 식(10) 내지 식 (12)에 따라 삼각형 메쉬의 각 정점과 원점을 연결하는 사면체(OABC)의 면적을 구한 후, 각 사면체의 면적을 합하여 구하고,According to the following equations (10) to (12), the area of the tetrahedron (OABC) connecting each vertex and the origin of the triangular mesh is obtained, and then the sum of the areas of the tetrahedrons is obtained.
Figure 112011048958729-pat00063
---(10)
Figure 112011048958729-pat00063
--- (10)
Figure 112011048958729-pat00064
----(11)
Figure 112011048958729-pat00064
---- (11)
Figure 112011048958729-pat00081
---- (12)
Figure 112011048958729-pat00081
---- (12)
여기서, i는 삼각형 또는 기본적인 사면체를 의미하고, (xi1, yi1, zi1), (xi2, yi2, zi2) 와 (xi3, yi3, zi3) 삼각형 i의 정점들 좌표임. Where i denotes a triangle or a basic tetrahedron, and is the coordinates of the vertices of (xi1, yi1, zi1), (xi2, yi2, zi2) and (xi3, yi3, zi3) triangles i. 상기 메쉬의 2차원 면적 크기(Si)는, A two-dimensional area of the mesh size (S i) is 다음의 식 (13) 내지 식 (15)에 따라, 원점과 다각형 윤곽인 폴리곤의 정점을 연결하는 삼각형의 면적을 구한 후, 각 삼각형의 면적을 합하여 구하는 것을 특징으로 하는 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 방법.According to the following equations (13) to (15), the area of a triangle connecting the origin and the vertex of the polygon that is the polygonal contour is obtained, and then the area of each triangle is summed to obtain the three-dimensional data for the member search. Noise removal method for smoothing.
Figure 112011048958729-pat00066
--- (13)
Figure 112011048958729-pat00066
--- (13)
Figure 112011048958729-pat00067
------(14)
Figure 112011048958729-pat00067
------ (14)
Figure 112011048958729-pat00082
-----(15)
Figure 112011048958729-pat00082
----- (15)
여기서, i는 모든 에지나 기본적인 삼각형들의 인덱스이고,
Figure 112011048958729-pat00069
Figure 112011048958729-pat00070
는 시점과 끝점의 좌표임.
Where i is the index of all edges or fundamental triangles,
Figure 112011048958729-pat00069
and
Figure 112011048958729-pat00070
Is the coordinate of start and end point.
KR1020090024595A 2009-03-23 2009-03-23 Noise reduction system for smoothing of 3D data related to searching pieces KR101117045B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090024595A KR101117045B1 (en) 2009-03-23 2009-03-23 Noise reduction system for smoothing of 3D data related to searching pieces

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090024595A KR101117045B1 (en) 2009-03-23 2009-03-23 Noise reduction system for smoothing of 3D data related to searching pieces

Publications (2)

Publication Number Publication Date
KR20100106126A KR20100106126A (en) 2010-10-01
KR101117045B1 true KR101117045B1 (en) 2012-03-19

Family

ID=43128548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090024595A KR101117045B1 (en) 2009-03-23 2009-03-23 Noise reduction system for smoothing of 3D data related to searching pieces

Country Status (1)

Country Link
KR (1) KR101117045B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076219B2 (en) 2011-10-07 2015-07-07 Electronics And Telecommunications Research Institute Space segmentation method for 3D point clouds
US10521959B2 (en) 2016-12-07 2019-12-31 Samsung Electronics Co., Ltd. Methods of and devices for reducing structure noise through self-structure analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109902A (en) * 1999-10-08 2001-04-20 Sega Corp Texture blend method and picture display device using the same
KR20020087271A (en) * 2001-05-15 2002-11-22 한국과학기술원 Anisotropic texture filtering method and apparatus using area coverage weight of sub-texel precision
JP2006139727A (en) * 2004-11-15 2006-06-01 Sharp Corp Three-dimensional figure drawing processor, image display device, three-dimensional figure drawing processing method, control program for executing the method by computer, and computer readable recording medium recorded with the program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001109902A (en) * 1999-10-08 2001-04-20 Sega Corp Texture blend method and picture display device using the same
KR20020087271A (en) * 2001-05-15 2002-11-22 한국과학기술원 Anisotropic texture filtering method and apparatus using area coverage weight of sub-texel precision
JP2006139727A (en) * 2004-11-15 2006-06-01 Sharp Corp Three-dimensional figure drawing processor, image display device, three-dimensional figure drawing processing method, control program for executing the method by computer, and computer readable recording medium recorded with the program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:전자공학회논문지*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076219B2 (en) 2011-10-07 2015-07-07 Electronics And Telecommunications Research Institute Space segmentation method for 3D point clouds
US10521959B2 (en) 2016-12-07 2019-12-31 Samsung Electronics Co., Ltd. Methods of and devices for reducing structure noise through self-structure analysis

Also Published As

Publication number Publication date
KR20100106126A (en) 2010-10-01

Similar Documents

Publication Publication Date Title
CN110136072B (en) Point cloud noise removing method, denoising system, computer device and storage medium
Fan et al. Robust feature-preserving mesh denoising based on consistent subneighborhoods
JP2007000205A (en) Image processing apparatus, image processing method, and image processing program
Zhang et al. Point Cloud Denoising With Principal Component Analysis and a Novel Bilateral Filter.
US11657195B2 (en) Processing a 3D signal of a shape attribute over a real object
CN111105452A (en) High-low resolution fusion stereo matching method based on binocular vision
Suresh et al. PMENet: phase map enhancement for Fourier transform profilometry using deep learning
CN110751680A (en) Image processing method with fast alignment algorithm
KR101117045B1 (en) Noise reduction system for smoothing of 3D data related to searching pieces
CN113971669A (en) Three-dimensional detection system applied to pipeline damage identification
Sangeetha et al. A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing
JP5736285B2 (en) Apparatus, method, and program for restoring three-dimensional shape of object
CN109978898B (en) Contour detection method based on vector field energy calculation
Bénière et al. Recovering primitives in 3D CAD meshes
Laskov et al. Curvature-based algorithms for nonrigid motion and correspondence estimation
CN112884817B (en) Dense optical flow calculation method, dense optical flow calculation device, electronic device, and storage medium
RU2716311C1 (en) Device for reconstructing a depth map with searching for similar blocks based on a neural network
Choi et al. Fast, trainable, multiscale denoising
JP4714050B2 (en) 3D shape model generation system
Vijayalakshmi et al. Modified exemplar based image inpainting algorithm
Wu et al. Surface detection with subvoxel accuracy using 3D directional derivatives
Fournier et al. 3D distance transform adaptive filtering for smoothing and denoising triangle meshes
CN114418902B (en) Image restoration method and computer-readable storage medium
JP5934019B2 (en) Gradation restoration device and program thereof
Li et al. Impulse noise removal using grey polynomial model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141204

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee