KR20190117287A - Method and apparatus for processing duplicate point - Google Patents
Method and apparatus for processing duplicate point Download PDFInfo
- Publication number
- KR20190117287A KR20190117287A KR1020180040585A KR20180040585A KR20190117287A KR 20190117287 A KR20190117287 A KR 20190117287A KR 1020180040585 A KR1020180040585 A KR 1020180040585A KR 20180040585 A KR20180040585 A KR 20180040585A KR 20190117287 A KR20190117287 A KR 20190117287A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- points
- point
- color
- color values
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 개시의 다양한 실시 예들은 중복 포인트 처리 방법 및 장치에 관한 것이다.Various embodiments of the present disclosure relate to a method and an apparatus for processing duplicate points.
대용량의 3차원 데이터는 포인트 클라우드(point cloud)로 표현되며, 포인트 클라우드는 방대한 양의 포인트들의 집합을 의미한다. 포인트 클라우드는 3차원 상의 하나의 점을 표현하기 위해 사용되며, 위치 값과 색상 값을 동시에 갖는 벡터 형태로 표현될 수 있다. 예를 들어, 포인트 클라우드는 “X, Y, Z”에 의해 지시되는 위치 값과 “R, G, B”에 의해 지시되는 색상 값을 포함하는 “(X, Y, Z, R, G, B)”의 형태로 표현될 수 있다.A large amount of three-dimensional data is represented by a point cloud, which refers to a vast collection of points. The point cloud is used to represent one point on the 3D, and may be expressed in a vector form having both a position value and a color value. For example, a point cloud may contain a position value indicated by “X, Y, Z” and a color value indicated by “R, G, B” as “(X, Y, Z, R, G, B ) ”.
3차원 데이터를 표현하는 포인트 클라우드는 상당량의 메모리 리소스를 차지하기 때문에 포인트 클라우드 압축(point cloud compression) 방법이 요구된다. 그러나 일반적인 포인트 클라우드 압축 방법은 새로운 코덱을 생성하고 확산하는데 많은 시간이 필요하기 때문에 기존의 코덱(예컨대, 2차원 비디오 압축 방식)을 활용하는 방법이 제안되고 있다. Since point clouds representing three-dimensional data occupy a considerable amount of memory resources, a point cloud compression method is required. However, since a general point cloud compression method requires a lot of time to generate and spread a new codec, a method of utilizing an existing codec (eg, 2D video compression method) has been proposed.
한편, 압축된 포인트 클라우드를 복원할 때 동일한 위치 값과 상이한 색상 값을 갖는 다수개의 포인트들이 발생할 수 있다. 이러한 다수개의 포인트들은 일반적으로 중복(duplicate) 포인트들로 칭해진다. 중복 포인트들은 동일한 위치 값을 가지고 있으나 상이한 색상 값을 가지고 있기 때문에, 해당 위치 값에 어떠한 색상 값이 할당되어야 하는지에 대한 방안이 필요시 되고 있다. Meanwhile, when restoring the compressed point cloud, a plurality of points having the same position value and different color values may occur. These multiple points are generally referred to as duplicate points. Since overlapping points have the same position value but different color values, there is a need for a method for which color value should be assigned to the position value.
본 개시의 다양한 실시 예들에 따르면 중복 포인트 처리 방법 및 장치를 제공할 수 있다.According to various embodiments of the present disclosure, a method and apparatus for processing overlapping points may be provided.
본 개시의 다양한 실시 예들에 따르면 포인트 클라우드의 압축 및 복원 과정에서 동일한 위치 값과 상이한 색상 값을 갖는 중복 포인트들이 발생하는 경우, 해당 위치 값에 지정될 색상 값을 결정할 수 있도록 하는 방법 및 장치를 제공할 수 있다. According to various embodiments of the present disclosure, when duplicate points having the same location value and different color values occur during compression and decompression of a point cloud, a method and an apparatus for determining a color value to be assigned to the location value are provided. can do.
본 개시의 일 실시 예에 따른 방법은; 중복 포인트 처리 방법에 있어서, 3차원 이미지에 포함된 포인트 클라우드(point cloud)들을 압축하여 복원하는 과정과, 복원된 포인트 클라우드들 중 동일한 위치 값과 상이한 색상 값들을 갖는 다수개의 포인트 클라우드들을 중복(duplicate) 포인트들로서 검출하는 과정과, 상기 중복 포인트들의 색상 값들 간 유사도를 측정하는 과정과, 상기 측정된 유사도와 임계 값을 비교하고, 상기 비교 결과를 기반으로 상기 중복 포인트들의 색상 값들에 대한 평균 값을 상기 위치 값에 대응되는 색상 값으로 결정하는 과정을 포함한다.Method according to an embodiment of the present disclosure; In the overlapping point processing method, a process of compressing and restoring point clouds included in a 3D image, and overlapping a plurality of point clouds having the same position value and different color values among the restored point clouds ) Detecting as points, measuring similarity between color values of the overlapping points, comparing the measured similarity with a threshold value, and calculating an average value for the color values of the overlapping points based on the comparison result. And determining the color value corresponding to the position value.
본 개시의 일 실시 예에 따른 장치는; 중복 포인트 처리 장치에 있어서, 3차원 이미지에 포함된 포인트 클라우드(point cloud)들을 압축하여 복원하는 디코더와, 복원된 포인트 클라우드들 중 동일한 위치 값과 상이한 색상 값들을 갖는 다수개의 포인트 클라우드들을 중복(duplicate) 포인트들로서 검출하고, 상기 중복 포인트들의 색상 값들 간 유사도를 측정하고, 상기 측정된 유사도와 임계 값을 비교하고, 상기 비교 결과를 기반으로 상기 중복 포인트들의 색상 값들에 대한 평균 값을 상기 위치 값에 대응되는 색상 값으로 결정하는 제어부를 포함한다.An apparatus according to an embodiment of the present disclosure; In the redundant point processing apparatus, a decoder for compressing and restoring point clouds included in a 3D image, and a plurality of point clouds having the same position value and different color values among the restored point clouds are duplicated. ) Detects as points, measures similarity between color values of the overlapping points, compares the measured similarity with a threshold value, and compares an average value of the color values of the overlapping points to the position value based on the comparison result. It includes a control unit for determining the corresponding color value.
본 개시의 다양한 실시 예들에 따르면, 포인트 클라우드의 압축 및 복원 과정에서 동일한 위치 값과 상이한 색상 값을 갖는 중복 포인트들이 발생하는 경우, 해당 위치 값에 지정될 색상 값을 효율적으로 결정할 수 있다. 또한 송신 측 또는 수신 측에 의해 중복 포인트들이 다양한 방식으로 처리될 수 있다. According to various embodiments of the present disclosure, when overlapping points having the same location value and different color values are generated during the compression and reconstruction of the point cloud, it is possible to efficiently determine the color value to be assigned to the location value. In addition, duplicate points may be processed in various ways by the transmitting side or the receiving side.
본 개시에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present disclosure are not limited to the mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 개시의 일 실시 예에 따른 중복 포인트들이 발생되는 경우를 나타낸 도면,
도 2은 본 개시의 일 실시 예에 따른 중복 포인트들이 발생한 경우 색상 선택에 따른 문제를 예시한 도면,
도 3은 본 개시의 일 실시 예에 따른 시간적 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면,
도 4는 본 개시의 일 실시 예에 따른 시간에 따라 추적된 포인트 클라우드들을 예시한 도면,
도 5는 본 개시의 일 실시 예에 따른 공간적 유사성을 갖는 포인트 클라우드들을 예시한 도면,
도 6은 본 개시의 일 실시 예에 따른 공간적 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면,
도 7은 본 개시의 일 실시 예에 따른 시공간 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면,
도 8은 본 개시의 일 실시 예에 따른 시공간 유사성을 고려한 중복 포인트의 색상 값을 선택하는 방법을 예시한 도면,
도 9는 본 개시의 일 실시 예에 따른 중복 포인트들 간 색상 유사도를 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면,
도 10a 본 개시의 일 실시 예에 따른 수신기의 내부 구성을 간략히 도시한 도면,
도 10b는 본 개시의 일 실시 예에 따른 수신기의 동작을 나타낸 도면,
도 11a 본 개시의 일 실시 예에 따른 송신기의 내부 구성을 간략히 도시한 도면,
도 11b는 본 개시의 일 실시 예에 따른 송신기의 동작을 나타낸 도면.1 is a diagram illustrating a case where overlapping points are generated according to one embodiment of the present disclosure;
2 is a diagram illustrating a problem according to color selection when overlapping points are generated according to an embodiment of the present disclosure;
3 is a diagram illustrating an example of a method for processing duplicate points in consideration of temporal similarity according to an embodiment of the present disclosure;
4 illustrates point clouds tracked over time according to an embodiment of the present disclosure.
5 illustrates point clouds with spatial similarity according to an embodiment of the present disclosure;
6 is a diagram illustrating an example of a method for processing overlapping points in consideration of spatial similarity according to an embodiment of the present disclosure;
7 is a diagram illustrating an example of a method for processing overlapping points in consideration of space-time similarity according to an embodiment of the present disclosure;
8 illustrates a method of selecting color values of overlapping points in consideration of spatiotemporal similarity according to an embodiment of the present disclosure;
9 is a diagram illustrating an example of a method for processing overlapping points in consideration of color similarity between overlapping points according to an embodiment of the present disclosure;
10A is a view briefly illustrating an internal configuration of a receiver according to an embodiment of the present disclosure;
10B illustrates an operation of a receiver according to an embodiment of the present disclosure.
11A is a diagram schematically illustrating an internal configuration of a transmitter according to an embodiment of the present disclosure;
11B illustrates an operation of a transmitter according to an embodiment of the present disclosure.
이하 첨부된 도면을 참조하여 본 개시의 다양한 실시 예들을 상세히 설명한다. 하기에서 본 개시의 다양한 실시 예들을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시의 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In the following description of various embodiments of the present disclosure, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in various embodiments of the present disclosure, and may vary according to intentions or customs of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification.
도 1은 본 개시의 일 실시 예에 따른 중복 포인트들이 발생되는 경우를 나타낸 도면이다. 1 is a diagram illustrating a case where overlapping points are generated according to an embodiment of the present disclosure.
도 1을 참조하면, 포인트 클라우드 압축(point cloud compression) 과정은 다수개의 포인트 클라우드들을 적어도 하나의 포인트 클라우드로 압축하여 복원하는 과정을 포함한다. 이러한 포인트 클라우드 압축 과정이 수행되는 경우, 압축 전 서로 다른 위치 값과 서로 다른 색상 값을 갖는 포인트 클라우드들(101)(102)(103)이 압축 후 동일한 위치 값과 상이한 색상 값을 갖는 포인트 클라우드들(104)(105)(106)로 복원될 수 있다. 이와 같이 동일한 위치 값과 상이한 색상 값을 갖는 포인트 클라우드들(104)(105)(106)은 중복(duplicate) 포인트들로서 칭해질 수 있다. Referring to FIG. 1, a point cloud compression process includes compressing and restoring a plurality of point clouds into at least one point cloud. When this point cloud compression process is performed,
중복 포인트들은 포인트 클라우드 압축 및 복원 과정에서 수행되는 양자화(일 예로, 실수 값을 정수 값으로 변환하는 과정) 및 전송 과정에서 발생하는 노이즈로 인한 신호 왜곡으로 인해 발생될 수 있다. 예를 들어, 포인트 클라우드(101)의 위치 1이 “100.27”의 값을 가지고, 포인트 클라우드(102)의 위치 2가 “100.43”의 값을 가지며, 포인트 클라우드(103)의 위치 3이 “100.11”의 값을 가질 경우, 압축 과정에서 위치 1 내지 3의 값은 “100”으로 양자화된다. 이에 따라, 압축 전 상이했던 포인트 클라우드들(101)(102)(103)의 위치 값은 압축 후 모두 동일한 위치 값(위치 A)이 될 수 있다. Duplicate points may be generated due to quantization (eg, a process of converting a real value into an integer value) performed during point cloud compression and decompression and signal distortion due to noise generated during transmission. For example,
하지만, 포인트 클라우드들(101)(102)(103)은 서로 상이한 색상 값을 가지므로 복원 과정에서 위치 A에 어떠한 색상이 지정되어야 하는지에 대한 문제가 발생할 수 있다. 예를 들어, 도 2에 나타난 바와 같이, 중복 포인트들(104)(105)(105)이 위치 A의 하나의 포인트 클라우드로 복원될 때, 1번 색상, 2번 색상 및 3번 색상 중 어떠한 색상이 복원될 포인트 클라우드의 색상으로서 선택되어야 하는지 등에 대한 문제가 발생할 수 있다. 이를 고려하여, 본 개시에서는 중복 포인트들이 발생하는 경우 해당 위치에 지정할 색상을 결정할 수 있도록 하는 다양한 실시 예들을 제안한다. 이하 상기 다양한 실시 예들을 중복 포인트 처리 방법 및 장치로서 구체적으로 설명하기로 한다. However, since the
중복 포인트 처리 방법의 하나의 예로서 시간적 유사성을 고려한 중복 포인트 처리 방법이 있다. 시간적 유사성을 고려한 중복 포인트 처리 방법은 매 시간 별 프레임 내 포인트 클라우드들의 색상 값들을 추적(tracking)하고, 추적된 포인트 클라우드들의 색상 값들에 대한 평균 값(단순 평균, 가중 평균 등 다양한 평균 산출 방식을 기반으로 결정될 수 있음)으로 중복 포인트들에 대해 복원될 색상 값(이하 '중복 포인트 색상 값'이라 칭함)을 결정하는 방법을 포함한다. 또한, 시간적 유사성을 고려한 중복 포인트 처리 방법은 시간적 일관성(time consistency)을 위해 추적된 포인트 클라우드들의 색상 값들 중 중복 포인트들의 위치와 동일한 위치에 있는 포인트 클라우드에 대한 색상 값으로 중복 포인트 색상 값을 결정하는 방법을 포함한다. As an example of the duplicate point processing method, there is a duplicate point processing method in consideration of temporal similarity. Duplicate point processing method considering temporal similarity tracks the color values of point clouds in the frame every hour, and is based on various average calculation methods such as average values (simple average, weighted average, etc.) for the color values of tracked point clouds. And a color value to be reconstructed for the duplicated points (hereinafter, referred to as a duplicate point color value). In addition, the overlapping point processing method considering the temporal similarity determines a duplicate point color value as a color value for a point cloud at the same position as the position of the duplicate points among the color values of the tracked point clouds for time consistency. It includes a method.
도 3은 본 개시의 일 실시 예에 따른 시간적 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면이다. 3 is a diagram illustrating an example of a method for processing overlapping points in consideration of temporal similarity according to an embodiment of the present disclosure.
도 3을 참조하면, 시간 n에 대응하는 프레임을 나타내는 T(n)에서의 중복 포인트 색상 값을 결정하기 위하여, 2차원 특징 트래킹(2D feature tracking) 과정(310)이 수행될 수 있다. 2차원 특징 트래킹 과정(310)은 시간 n 이전의 미리 결정된 개수(k)의 2차원 프레임들에 대한 특징을 추적하는 과정을 포함한다. 즉, 2차원 특징 트래킹 과정(310)은 시간 n-1에 대응하는 프레임인 T(n-1) 내지 시간 n-k에 대응하는 프레임인 T(n-k) 각각 내의 포인트 클라우드들에 대한 색상 값들을 추적하는 과정을 포함한다. Referring to FIG. 3, a 2D
k개의 프레임들에 포함된 포인트 클라우드들에 대한 색상 값들이 추적되면, 추적된 각 프레임 별 색상 값들을 이용하여 T(n)에서의 중복 포인트 색상 값을 선택하는 과정(320)이 수행될 수 있다. 중복 포인트 색상 값을 선택하는 과정(320)은 다양한 방식을 기반으로 수행될 수 있다. If color values for point clouds included in k frames are tracked, a
예를 들어, 중복 포인트 색상 값을 선택하는 과정(320)은 가중 평균을 이용하여 중복 포인트 색상 값을 선택하는 과정(330)을 포함할 수 있다. 만약 n이 5이고 k가 3인 경우, T(5)의 중복 포인트 색상 값은 T(4), T(3), T(2) 각각에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는(또는 중복 포인트들이 지시하는 객체(object)와 동일한 객체를 지시하는) 포인트 클라우드의 색상 값을 이용하여 선택될 수 있다. 여기서, T(4), T(3), T(2) 각각에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는 포인트 클라우드의 색상 값에는 가중치 값이 적용될 수 있는데, T(5)와 시간적으로 가까운 프레임에 속할수록 큰 값을 갖는 가중치 값이 적용될 수 있다. For example, selecting 320 a duplicate point color value may include selecting 330 a duplicate point color value using a weighted average. If n is 5 and k is 3, the duplicate point color value of T (5) is equal to the position of the duplicate points of T (5) in T (4), T (3), and T (2), respectively. It may be selected using the color value of the point cloud having (or pointing to the same object as the object to which the overlapping points point). Here, a weight value may be applied to the color value of the point cloud having the same position as that of the overlapping points of T (5) in T (4), T (3), and T (2), respectively. A weight value having a larger value may be applied as belonging to a frame that is close in time.
즉, T(4)에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는 포인트 클라우드의 색상 값에 가장 큰 가중치 값이 적용되고, T(3)에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는 포인트 클라우드의 색상 값에는 그 다음으로 큰 가중치 값이 적용되고, T(2)에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는 포인트 클라우드의 색상 값에는 가장 작은 가중치 값이 적용될 수 있다. 그리고 가중치 값이 적용된 T(4), T(3), T(2)의 각 포인트 클라우드의 색상 값에 대한 평균 값(즉, 가중 평균값)을 기반으로 T(5)의 중복 포인트 색상 값이 선택될 수 있다. 예를 들어, T(5)의 중복 포인트 색상 값은 가중 평균 값으로 결정되거나, T(5)의 중복 포인트들의 색상 값들 중 가중 평균 값에 가장 가까운 색상 값이 T(5)의 중복 포인트 색상 값으로 선택될 수 있다. That is, the largest weight value is applied to the color value of the point cloud having the same position as that of the overlapping points of T (5) in T (4), and the position of the overlapping points of T (5) in T (3). The next largest weighting value is applied to the color values of the point cloud with the same position, and the smallest weighting value is applied to the color value of the point cloud with the same position as the position of the overlapping points of T (5) in T (2). Can be applied. The duplicate point color value of T (5) is selected based on the average value (ie, the weighted average value) of the color values of each point cloud of T (4), T (3), and T (2) to which the weight value is applied. Can be. For example, the duplicate point color value of T (5) is determined as a weighted average value, or the color value closest to the weighted average value among the color values of duplicate points of T (5) is the duplicate point color value of T (5). Can be selected.
중복 포인트 색상 값을 선택하는 과정(320)은 이전 특징(feature) 색을 기반으로 중복 포인트 위치에 대한 색상 값을 선택하는 과정(340)을 포함할 수 있다. 이전 특징 색은 현재 프레임에 대응되는 시간 바로 직전 시간 또는 그 이전 시간의 프레임에 포함된 색상 값을 나타낸다. 예를 들어, T(5)의 중복 포인트 색상 값은 T(4)에서 T(5)의 중복 포인트들의 위치와 동일한 위치를 갖는(또는 중복 포인트들이 지시하는 객체와 동일한 객체를 지시하는) 포인트 클라우드의 색상 값이 되거나, T(5)의 중복 포인트들의 색상 값들 중 T(4)의 포인트 클라우드의 색상 값과 가장 가까운 색상 값이 T(5)의 중복 포인트 색상 값으로 선택될 수 있다. Selecting a duplicate
중복 포인트 색상 값을 선택하는 과정(320)은 이전 프레임들의 색상 값들에 대한 중간(median) 값을 기반으로 중복 포인트 색상 값을 선택하는 과정(350)을 포함할 수 있다. 예를 들어, T(5)의 중복 포인트 위치에 대한 색상 값은 T(4), T(3), T(2) 각각에서 T(5)의 중복 포인트 위치와 동일한 위치를 갖는(또는 중복 포인트들이 지시하는 객체와 동일한 객체를 지시하는) 포인트 클라우드의 색상 값들의 중간 값이 될 수 있다. Selecting a duplicate
예를 들어, T(4)의 포인트 클라우드의 색상 값이 “250”이고, T(3)의 포인트 클라우드의 색상 값이 “230”이고, T(2)의 포인트 클라우드의 색상 값이 “240”인 경우, 중간 값으로서 “240”이 T(5)의 중복 포인트 색상 값으로 결정될 수 있다. 다르게는, T(5)의 중복 포인트들의 색상 값들 중 “240”과 가장 가까운 색상 값이 T(5)의 중복 포인트 색상 값으로 선택될 수 있다.For example, the color value of the point cloud of T (4) is “250”, the color value of the point cloud of T (3) is “230”, and the color value of the point cloud of T (2) is “240”. In this case, “240” may be determined as a duplicate point color value of T (5) as an intermediate value. Alternatively, the color value closest to “240” among the color values of the overlapping points of T (5) may be selected as the overlapping point color value of T (5).
중복 포인트 색상 값을 선택하는 과정(320)은 현재 프레임에서 주변 색상과 유사한 특징(feature) 색상을 갖도록 중복 포인트 색상 값을 선택하는 과정(360)을 포함할 수 있다. 예를 들어, 현재 프레임인 T(n)에서 중복 포인트로부터 미리 설정된 거리 이내에 위치한 포인트 클라우드에 대한 색상 값과 유사한 색상이 T(n)의 중복 포인트 색상 값으로 결정될 수 있다. Selecting the duplicate
도 4는 본 개시의 일 실시 예에 따른 시간에 따라 추적된 포인트 클라우드들을 예시한 도면이다. 4 is a diagram illustrating point clouds tracked over time according to an embodiment of the present disclosure.
시간적 유사성을 고려한 중복 포인트 처리 방법을 사용하기 위해 도 4의 (a)에 나타난 바와 같이 프레임들 간 포인트 클라우드들의 유사성이 추적될 수 있다. 도 4의 (a)에서는 T(1)에 포함되는 포인트 클라우드들과 T(2)에 포함되는 포인트 클라우드들이 추적되어 높은 유사도를 갖는 포인트 클라우드들(일 예로, 410과 420) 간의 대응 관계를 나타내고 있다. Similarity of point clouds between frames may be tracked as shown in FIG. 4A to use the overlapping point processing method in consideration of temporal similarity. In FIG. 4A, point clouds included in T (1) and point clouds included in T (2) are tracked to indicate a correspondence relationship between point clouds having high similarity (for example, 410 and 420). have.
도 4의 (a)와 다르게, 시간적 유사성을 고려한 중복 포인트 처리 방법을 사용하기 위해 도 4의 (b)에 나타난 바와 같이 포인트 클라우드들의 시간적으로 변경된 위치가 추적될 수 있다. 도 4의 (b)에서는 T(2)에 포함된 포인트 클라우드들의 위치가 이전 프레임(T(1)) 대비 어떻게 변경되었는지를 추적한 결과를 보이고 있다. 예를 들어, 도면부호 430에 의해 지시되는 위치는 T(2)에서의 포인트 클라우드의 위치를 나타내며, 도면부호 440에 의해 지시되는 위치는 T(1)에서의 포인트 클라우드의 위치를 나타낸다. Unlike FIG. 4A, in order to use the overlapping point processing method in consideration of temporal similarity, the temporally changed position of the point clouds may be tracked as shown in FIG. 4B. 4B shows a result of tracking how the positions of the point clouds included in T (2) have changed compared to the previous frame T (1). For example, the position indicated by
다음으로, 본 개시의 일 실시 예에 따른 공간적 유사성을 고려한 중복 포인트 처리 방법을 설명하기로 한다. Next, a duplicate point processing method in consideration of spatial similarity according to an embodiment of the present disclosure will be described.
도 5는 본 개시의 일 실시 예에 따른 공간적 유사성을 갖는 포인트 클라우드들을 예시한 도면이다. 5 is a diagram illustrating point clouds having spatial similarity according to an embodiment of the present disclosure.
도 5를 참조하면, 공간적 유사성을 고려한 중복 포인트 처리 방법은 동일한 위치의 상이한 색상 값들을 갖는 중복 포인트들(510)(512)(514)이 발생하면, 이웃 포인트 클라우드들(500)(502)(504)(506)(508)(510)에 대한 색상 값들을 고려하여 중복 포인트 색상 값을 결정하는 방법을 포함한다. Referring to FIG. 5, in the method of processing overlapping points considering spatial similarity, when overlapping
예를 들어, 중복 포인트 색상 값은 공간적 일관성(spatial consistency)을 위해 이웃 포인트 클라우드들(500)(502)(504)(506)(508)(510) 중 적어도 하나의 색상 값과 유사한 색상 값(예를 들어, 중복 포인트들의 색상 값들 중 적어도 하나의 이웃 포인트 클라우드의 색상 값과 차이가 가장 작은 색상 값)으로 결정될 수 있다. For example, the duplicate point color value may be a color value similar to the color value of at least one of the neighbor point clouds 500, 502, 504, 506, 508, 510 for spatial consistency. For example, it may be determined as a color value having the smallest difference from the color value of at least one neighboring point cloud among the color values of the overlapping points.
이웃 포인트 클라우드들(500)(502)(504)(506)(508)(510) 중 적어도 하나는 미리 결정된 기준에 따라 선택될 수 있는데, 일 예로 중복 포인트들(410)(412)(414)의 위치와 가장 거리가 가깝거나 미리 설정된 거리 이내에 위치한 적어도 하나의 이웃 포인트 클라우드가 될 수 있다. 여기서, 포인트 클라우드들 간의 거리는 유클라디안 거리(Euclidian distance), 측지선 거리(geodesic distance)를 산출하는 방식 등을 이용하여 측정될 수 있다. At least one of the neighbor point clouds 500, 502, 504, 506, 508, 510 can be selected according to a predetermined criterion, for example,
한편, 이웃 포인트 클라우드들(500)(502)(504)(506)(508)(510)과 중복 포인트들 간의 거리를 고려한 가중 평균 값을 계산하여 중복 포인트 색상을 지정하는 방법도 사용될 수 있다. 이에 대해서는 도 6을 참조하여 구체적으로 설명하기로 한다. Meanwhile, a method of designating a duplicate point color by calculating a weighted average value considering distances between
도 6은 본 개시의 일 실시 예에 따른 공간적 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면이다.6 is a diagram illustrating an example of a method for processing overlapping points in consideration of spatial similarity according to an embodiment of the present disclosure.
도 6에 도시된 방법은 수신기, 또는 수신기에 포함된 제어부나 프로세서, 또는 수신기에 포함되거나 수신기와는 물리적으로 구분된 중복 포인트 처리 장치에 의해 수행될 수 있다. 이하에서는 설명의 편의를 위해 중복 포인트 처리 장치에서 수행되는 것을 일 예로 설명하기로 한다. The method illustrated in FIG. 6 may be performed by a receiver, a controller or processor included in the receiver, or a redundant point processing apparatus included in the receiver or physically separated from the receiver. Hereinafter, it will be described as an example that is performed in the overlapping point processing apparatus for convenience of description.
도 6을 참조하면, 중복 포인트 처리 장치는 600 단계에서 중복 포인트들이 발생한 것을 검출하면, 602 단계에서 중복 포인트들과 이웃하는 적어도 하나의 포인트 클라우드 간의 거리를 계산한다. 그리고 중복 포인트 처리 장치는 604 단계에서 미리 설정된 거리 이내에 있는 가까운 N개의 포인트 클라우드들을 선택한다. 선택되는 포인트 클라우드의 개수(N)는 미리 설정되어 있거나, 미리 설정된 거리 이내에 있는 모든 포인트 클라우드들의 개수를 나타내거나, 미리 설정된 거리 이내에 있는 임의의 포인트 클라우드들의 개수를 나타낼 수 있다. Referring to FIG. 6, when the overlapping point processing apparatus detects that overlapping points have occurred in
중복 포인트 처리 장치는 606 단계에서 N개의 포인트 클라우드들의 색상 값들에 대한 평균 값을 계산한다. 이어 중복 포인트 처리 장치는 608 단계에서 중복 포인트들에 대한 색상 값들 중 계산된 평균 값과 유사도가 높은(색상 값의 차이가 가장 적은) 색상 값을 선택한다. 그리고 중복 포인트 처리 장치는 610 단계에서 계산된 평균 값과 중복 포인트의 색상 값의 평균 값을 계산하여 중복 포인트 색상 값으로 결정한다. The redundant point processing apparatus calculates an average value of color values of the N point clouds in
한편, 중복 포인트 처리 장치는 608 단계를 생략하고, 606 단계에서 610 단계로 진행할 수 있다. 이 경우, 중복 포인트 처리 장치는 606 단계에서 계산된 평균 값과 중복 포인트들의 색상 값들에 대한 평균 값을 계산하여 중복 포인트 색상 값으로 결정할 수 있다.On the other hand, the overlapping point processing apparatus may omit
또한, 중복 포인트 처리 장치는 606 단계에서 N개의 포인트 클라우드들 각각에 가중치 값을 적용하여 가중 평균을 계산할 수 있다. 이 경우, 중복 포인트들과 이웃 포인트 클라우드들 각각의 거리를 고려한 가중치 값이 적용될 수 있다. 예를 들어, 중복 포인트들과의 거리가 가까운 이웃 포인트 클라우드 일 수록 높은 가중치 값이 적용될 수 있다. In
다음으로 본 개시의 일 실시 예에 따른 시공간 유사성을 고려한 중복 포인트 처리 방법을 설명하기로 한다.Next, a method of processing overlapping points in consideration of space-time similarity according to an embodiment of the present disclosure will be described.
시공간 유사성을 고려한 중복 포인트 처리 방법은 앞서 설명한 시간적 유사성을 고려한 중복 포인트 처리 방법과 공간적 유사성을 고려한 중복 포인트 처리 방법을 모두 고려한 방법을 말한다.The overlapping point processing method considering the spatiotemporal similarity refers to a method in which both the overlapping point processing method considering the temporal similarity and the overlapping point processing method considering the spatial similarity are considered.
예를 들어, T(5)의 중복 포인트 색상 값을 결정하는 경우, 중복 포인트 처리 장치는 먼저 T(4), T(3), T(2) 각각에 포함된 포인트 클라우드의 색상 값에 가중치를 적용하여 가중 평균 값을 결정한다(시간적 유사성 고려). 그리고 중복 포인트 처리 장치는 T(5)에서 중복 포인트에 인접한 이웃 포인트 클라우드들의 색상 값을 확인하고(공간적 유사성 고려), 확인된 색상 값들 중 앞서 결정된 가중 평균 값에 가장 가까운 색상 값을 T(5)의 중복 포인트 색상 값으로 결정할 수 있다. For example, when determining a duplicate point color value of T (5), the duplicate point processing apparatus first weights the color values of the point cloud included in each of T (4), T (3), and T (2). To determine the weighted average value (considering temporal similarity). The duplicate point processing apparatus checks the color values of neighboring point clouds adjacent to the duplicate point at T (5) (consides spatial similarity), and selects the color value closest to the previously determined weighted average value among the identified color values. This can be determined by the duplicate point color value of.
시공간 유사성을 고려한 중복 포인트 처리 방법의 다른 예로서 부가(auxiliary) 정보를 이용하는 방법이 있다. 이에 대해서는 도 7을 참조하여 구체적으로 설명하기로 한다. Another example of a method of processing overlapping points in consideration of space-time similarity is a method of using auxiliary information. This will be described in detail with reference to FIG. 7.
도 7은 본 개시의 일 실시 예에 따른 시공간 유사성을 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면이다. 7 is a diagram illustrating an example of a method for processing overlapping points in consideration of space-time similarity according to an embodiment of the present disclosure.
도 7을 참조하면, 중복 포인트 처리 장치는 700 단계에서 중복 포인트들이 발생한 것을 검출하면, 702 단계에서 중복 포인트들 각각의 색상 값에 대응하는 부가 정보를 참조한다. 여기서, 부가 정보는 R, G, B 중 하나의 값, R, G, B를 합산한 값, 양자화 전 해당 포인트 클라우드의 Y값 및 밝기(intensity) 값(휘도) 중 적어도 하나의 값을 포함할 수 있다. Referring to FIG. 7, when the overlapping point processing apparatus detects that the overlapping points have occurred in
중복 포인트 처리 장치는 704 단계에서 중복 포인트들에 이웃하는 포인트 클라우드의 부가 정보와 중복 포인트들 각각의 색상 값에 대응하는 부가 정보를 비교한다. 그리고 중복 포인트 처리 장치는 706 단계에서 중복 포인트들의 색상 값들 중 이웃하는 포인트 클라우드의 부가 정보와 차이값이 가장 작은 부가 정보를 갖는 색상 값을 중복 포인트 색상 값으로 결정한다.The overlapping point processing apparatus compares the additional information of the point cloud neighboring the overlapping points with the additional information corresponding to the color value of each of the overlapping points in
도 7에 도시된 방법을 이해를 돕기 위해 구체적으로 살펴보면 도 8에 나타난 바와 같다. The method illustrated in FIG. 7 will be described in detail with reference to FIG. 8.
도 8은 본 개시의 일 실시 예에 따른 시공간 유사성을 고려한 중복 포인트의 색상 값을 선택하는 방법을 예시한 도면이다. 8 is a diagram illustrating a method of selecting color values of overlapping points in consideration of space-time similarity according to an embodiment of the present disclosure.
도 8을 참조하면, 중복 포인트 처리 장치는 색상 값 1, 색상 값 2, 색상 값 3을 갖는 중복 포인트들(810)(820)(830) 각각에 대응되는 부가 정보를 검출한다. 예를 들어, 중복 포인트 처리 장치는 중복 포인트들(810)(820)(830) 각각에 대응되는 부가 정보로서 R, G, B 중 하나의 값, R, G, B를 합산한 값, 양자화 전 해당 포인트 클라우드의 Y값 및 밝기 값 중 적어도 하나의 값을 포함할 수 있다. Referring to FIG. 8, the overlapping point processing apparatus detects additional information corresponding to each of the overlapping
도 8에 도시된 (R1, G1, B1)은 각각 중복 포인트(810)의 R, G, B 중 하나 또는 R, G, B를 합산한 값을 나타내고, (R2, G2, B2)는 중복 포인트(820)의 R, G, B 중 하나 또는 R, G, B를 합산한 값을 나타내고, (R3, G3, B3)은 중복 포인트(830)의 R, G, B 중 하나 또는 R, G, B를 합산한 값을 나타낸다. 그리고, Y1, Y2, Y3은 각각 중복 포인트들(810)(820)(830)의 Y값을 나타낸다. (R1, G1, B1) shown in FIG. 8 represents one of R, G, and B, or R, G, and B of the overlapping
중복 포인트 처리 장치는 중복 포인트들(810)(820)(830)에 인접한 적어도 하나의 이웃 포인트 클라우드에 대한 부가 정보도 검출한다. 적어도 하나의 이웃 포인트 클라우드에 대한 부가 정보 역시 R, G, B 중 하나의 값, R, G, B를 합산한 값, 양자화 전 해당 포인트 클라우드의 Y값 및 밝기 값 중 적어도 하나의 값을 포함할 수 있다. The overlapping point processing apparatus also detects additional information about at least one neighboring point cloud adjacent to the overlapping
중복 포인트 처리 장치는 중복 포인트들(810)(820)(830) 각각의 부가 정보와 적어도 하나의 이웃 포인트 클라우드의 부가 정보를 비교하고, 비교 결과를 기반으로 중폭 포인트 색상을 결정한다. 예를 들어, 중복 포인트들(810)(820)(830) 각각의 부가 정보 R 값으로서 “250”, “35”, “80”이 검출되고, 이웃 포인트 클라우드의 부가 정보 R 값이 “200”으로 검출된 경우, 중복 포인트 처리 장치는 “200”에 가장 가까운 “250”의 값을 갖는 중복 포인트(810)의 색상을 중복 포인트 색상으로서 결정할 수 있다.The overlapping point processing apparatus compares the additional information of each of the overlapping
다음으로 중복 포인트들 간 색상 유사도를 고려한 중복 포인트 처리 방법을 설명하기로 한다. Next, a method of processing duplicate points in consideration of color similarity between duplicate points will be described.
도 9는 본 개시의 일 실시 예에 따른 중복 포인트들 간 색상 유사도를 고려한 중복 포인트 처리 방법의 일 예를 나타낸 도면이다. 9 is a diagram illustrating an example of a method of processing overlapping points in consideration of color similarity between overlapping points according to an embodiment of the present disclosure.
도 9를 참조하면, 중복 포인트 처리 장치는 중복 포인트들이 검출되면, 900 단계에서 검출된 중복 포인트들에 대한 정보를 저장한다. 중복 포인트들은 미리 설정된 단위(일 예로, 복셀(voxel) 단위)로 저장될 수 있다.Referring to FIG. 9, when duplicate points are detected, the duplicate point processing apparatus stores information on the duplicate points detected in
중복 포인트 처리 장치는 902 단계에서 미리 설정된 방식을 기반으로 중복 포인트들의 색상들 간 유사도를 측정한다. 미리 설정된 방식은 중복 포인트들의 색상 값(R, G, B)들의 공분산(covariance)을 포함하는 유사도를 계산하는 방식 등을 포함할 수 있다. The overlapping point processing apparatus measures similarity between colors of the overlapping points based on a preset method in
중복 포인트 처리 장치는 904 단계에서 측정된 유사도가 임계치 보다 작은지 여부를 판단한다. 중복 포인트 처리 장치는 측정된 유사도가 임계치 보다 작은 경우 906 단계로 진행하여 중복 포인트들의 색상 값들에 대한 평균 값을 계산하고, 계산된 평균 값을 중복 포인트 색상으로 결정한다. The overlap point processing apparatus determines whether or not the similarity measured in
한편, 중복 포인트 처리 장치는 904 단계에서 측정된 유사도가 임계치 이상인 경우 910 단계로 진행하여 중복 포인트들에 인접한 이웃 포인트를 선택한다. 선택된 이웃 포인트는 중복 포인트들의 위치로부터 임계 거리만큼 떨어진 위치에 존재하는 포인트 클라우드를 나타내며, 임계 거리는 이웃 포인트로서 허용될 수 있는 최대 거리를 나타낼 수 있다. Meanwhile, when the similarity measured in
중복 포인트 처리 장치는 중복 포인트들과 선택된 이웃 포인트 사이에 위치한 포인트 클라우드들을 검출하고, 912 단계에서 검출된 포인트 클라우드들의 색상 값들에 대한 평균 값을 계산한다. 구체적으로, 중복 포인트 처리 장치는 검출된 포인트 클라우드들의 색상 값들 각각에 가중치 값을 적용하고, 가중치 값이 적용된 색상 값들에 대한 평균 값을 가중 평균 값으로서 계산한다. 여기서, 검출된 포인트 클라우드들 각각에 적용되는 가중치 값은 해당 포인트 클라우드가 상기 중복 포인트들과 가까울수록 큰 값을 가질 수 있다.The overlapping point processing apparatus detects point clouds located between the overlapping points and the selected neighbor point, and calculates an average value of color values of the detected point clouds in
중복 포인트 처리 장치는 914 단계에서 중복 포인트 색상 결정 모드를 결정한다. 중복 포인트 처리 장치는 중복 포인트 색상 결정 모드가 모드 1로 결정된 경우, 908 단계로 진행하여 계산된 가중 평균 값을 중복 포인트 색상 값으로 결정한다. 그리고 중복 포인트 처리 장치는 중복 포인트 색상 결정 모드가 모드 2로 결정된 경우, 916 단계로 진행하여 중복 포인트들의 색상 값들 중 계산된 가중 평균 값에 가장 가까운 색상 값을 중복 포인트 색상 값으로서 결정한다. In
하기 표 1 및 표 2는 일반적으로 사용되는 간접 코딩(indirect coding)을 나타낸 구문이고(표 2는 표 1에 이어지는 구문임), 표 3은 직접 코딩(direct coding)을 나타내는 구문(syntax)이다. 표 1a-1b에 나타난 간접 코딩은 3차원 포인트 클라우드(3D point cloud)들을 2차원(2D)으로 프로젝션(projection)한 후, 다시 3차원으로 복원시키는 과정을 포함한다. 표 1 및 표 2에서 복원시킬 3차원 포인트 클라우드의 (x, y, z) 값은 2차원 프로젝션 된 이미지(영상)의 픽셀 위치 x, 픽셀 위치 y, 그리고 2차원 프로젝션 된 이미지의 (x, y)에서의 밝기 값 Y(x, y)으로 사용된다. Tables 1 and 2 below are syntaxes indicating generally used indirect coding (Table 2 is syntax following Table 1), and Table 3 is syntax representing direct coding. Indirect coding shown in Table 1a-1b includes a process of projecting 3D point clouds in 2D (2D), and then restoring the 3D point clouds to 3D again. In Table 1 and Table 2, the (x, y, z) values of the three-dimensional point cloud to be restored are the pixel position x of the two-dimensional projected image (image), the pixel position y, and the (x, y of the two-dimensional projected image. Is used as the brightness value Y (x, y) in.
하기 표 3에 나타난 직접 코딩 구문에서는 표 1 및 표 2에 나타난 간접 코딩 구문과는 달리, 복원되는 3차원 포인트 클라우드의 (x, y, z) 값이 각각 프로젝션 된 이미지의 Y 채널, U 채널, V 채널에 저장되어 있다. 따라서, 복원된 x는 Y(x, y), y는 U(x, y), z는 V(x, y)가 된다. In the direct coding syntax shown in Table 3, unlike the indirect coding syntax shown in Tables 1 and 2, the (x, y, z) values of the three-dimensional point clouds to be restored are Y, U, and It is stored in the V channel. Therefore, the restored x becomes Y (x, y), y becomes U (x, y), and z becomes V (x, y).
간접 코딩 방식이 사용되는 경우 커다란 세그먼트들이 프로젝션 된 이미지에 투영되어 저장되고, 다음 프로젝션 이미지의 동일한 위치(x, y)에 프로젝션 된 포인트들에 대해서는 중복을 회피하기 위해서, 직접 코딩 방법을 사용하여 프로젝션 된 이미지의 임의의 빈 공간에 (x, y, z) 값이 저장된다. 이때, 저장되는 이미지의 위치 자체는 실제 3차원 공간과 관련이 없으므로, Y, U, V 채널에 각각 x, y, z 값이 기록된다. When indirect coding is used, large segments are projected and stored in the projected image, and projected using the direct coding method to avoid duplication of points projected at the same position (x, y) of the next projected image. The (x, y, z) values are stored in any empty space of the captured image. At this time, since the position of the stored image itself is not related to the actual three-dimensional space, x, y, z values are recorded in the Y, U, and V channels, respectively.
하기 표 4 및 표 5는 도 9에 도시된 방법을 구문으로 표현한 것이며, 표 6 내지 표 9는 도 9에 도시된 방법을 의미론(semantics)적으로 표현한 것이다. 표 5는 표 4에 이어지는 구문이며, 표 6 내지 표 9는 하나의 구문이 편의상 나누어져 표현된 것일 뿐이다. 표 4 및 표 5에 기재된 구문은 표 3에 기재된 구문에 추가되어 사용될 수 있다. 예를 들어, 표 3에 기재된 구문 이후에 표 4 및 표 5의 구문이 추가되어 사용될 수 있다. Tables 4 and 5 below express the method shown in FIG. 9 in syntax, and Tables 6 to 9 show semantics of the method shown in FIG. Table 5 is a syntax following Table 4, and Tables 6 to 9 are merely expressed by dividing one syntax for convenience. The phrases described in Table 4 and Table 5 may be used in addition to the phrases described in Table 3. For example, after the phrases described in Table 3, the phrases of Tables 4 and 5 may be added and used.
한편, 중복 포인트 처리 방법은 앞서 설명한 방법들 외에, 중복 포인트들이 발생하면 디코딩시 중복 포인트들에 대한 정보를 디스플레이하고, 복원된 포인트가 중복 포인트임을 기록하여 향후 다른 포인트의 속성을 정의할 때 가중치를 낮게 주는 방법, 모든 중복 포인트들의 색상 값들의 평균 값을 이용하는 방법, 빠르고 손쉬운 계산을 위해 중복 포인트들의 색상 값들 중 하나를 랜덤하게 선택하는 방법 등 다양한 방법이 수행될 수 있다. Meanwhile, in addition to the methods described above, the method of processing the duplicated point displays information on the duplicated points at the time of decoding when duplicated points are generated, and records that the restored point is a duplicated point to define the weight of another point in the future. Various methods may be performed, such as a method of lowering, using an average value of color values of all overlapping points, and randomly selecting one of the color values of the overlapping points for quick and easy calculation.
다음으로 본 개시의 일 실시 예에 따른 수신기의 내부 구성을 살펴보기로 한다. 수신기는 앞서 설명한 중복 포인트 처리 장치와 동일한 장치가 될 수 있다. Next, an internal configuration of a receiver according to an embodiment of the present disclosure will be described. The receiver may be the same device as the redundant point processing apparatus described above.
도 10a는 본 개시의 일 실시 예에 따른 수신기의 내부 구성을 나타낸 도면이다. 10A is a diagram illustrating an internal configuration of a receiver according to an embodiment of the present disclosure.
도 10a를 참조하면, 수신기는 캡슐화 해제 처리부(1010), 디코더(1020), 패킹 해제 처리부(1030), 3D 이미지 프로젝션 처리부(1040), 중복 포인트 처리부(1050), 3D 업데이트 처리부(1060), 디스플레이부(1070) 등을 포함한다.Referring to FIG. 10A, a receiver includes an
캡슐화 해제 처리부(1010)는 수신된 데이터에 대하여 캡슐화 해제(decapsulation) 과정을 수행한다. 캡슐화 해제 과정을 통하여 각 포인트 클라우드에 대한 위치 값, 색상 값, 점유 맵(occupancy map), 그 외 다른 속성(attribution) 정보 및 부가(auxiliary) 정보 등이 획득될 수 있다. The
디코더(1020)는 캡슐화 해제 과정을 통해 획득된 각 정보에 대한 디코딩을 수행한다. 디코더(1020)의 동작을 통해 패킹된 2D 이미지가 복원될 수 있다.The
패킹 해제 처리부(1030)는 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대한 패킹 해제(unpacking) 동작을 수행한다. 패킹 해제 동작을 통해 2D 이미지가 복원될 수 있다. 패킹 해제 동작은 송신기에서 프로젝션된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환을 수행하는 동작을 포함할 수 있다. 이를 위해 송신기와 수신기는 패킹 방법에 대한 정보를 미리 공유할 수 있다. The unpacking
3D 이미지 프로젝션 처리부(1040)는 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션 처리한다. The 3D image
3D 이미지 프로젝션 처리부(1040)는 2D 이미지를 3D 이미지로 프로젝션하기 위해 송신기에서 2D 이미지로 프로젝션하기 위해 사용된 프로젝션의 역의 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신기는 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.The 3D image
중복 포인트 처리부(1050)는 본 개시의 다양한 실시 예들에 따른 중복 포인트 처리 방법들 중 적어도 하나를 기반으로 중복 포인트 색상을 결정하는 동작을 수행한다. 중복 포인트 처리를 위해 3D 이미지가 2D 이미지로 변환될 수 있으며, 중복 포인트 처리부(1050)는 중복 포인트 처리된 2D 이미지를 출력할 수 있다. The
3D 업데이트 처리부(1060)는 중복 포인트 처리된 2D 이미지를 다시 3D 이미지로 복원한다. 그리고 디스플레이부(1070)는 업데이트된 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이한다. 예를 들어, 디스플레이부(1070)는 3D 이미지 중 현재의 FOV(field of view)에 대응하는 데이터를 추출하여 렌더링할 수 있다. The
한편, 도 10a에서는 수신기가 다수개의 구성부들을 포함하는 것을 도시하였으나, 디스플레이부(1070)를 제외한 나머지 구성부들은 제어부 또는 프로세서와 같은 하나의 물리적인 구성부로서 통합될 수 있음은 물론이다. 또한, 도 10a에 도시되어 있지는 않으나 수신기는 송신기와 통신을 수행할 수 있는 송수신부(transceiver), 수신기의 동작과 관련한 여러 가지 다양한 정보를 저장할 수 있는 메모리 등을 더 포함할 수 있다.Meanwhile, although the receiver includes a plurality of components in FIG. 10A, other components except for the
도 10b는 본 개시의 일 실시 예에 따른 수신기의 동작을 나타낸 도면이다.10B illustrates an operation of a receiver according to an embodiment of the present disclosure.
도 10b를 참조하면, 수신기는 송신기로부터 신호가 수신되면, 1012 단계에서 수신된 신호를 역다중화(demultiplex: DeMux) 하고 캡슐화 해제 과정을 수행한다. 그리고 수신기는 1021, 1023, 1025, 1027, 1031 단계에서 캡슐화 해제 과정을 통해 획득된 각 포인트 클라우드에 대한 위치 값, 색상 값, 점유 맵(occupancy map), 그 외 다른 속성(attribution) 정보 및 부가(auxiliary) 정보 등을 디코딩한다. Referring to FIG. 10B, when a signal is received from a transmitter, the receiver demultiplexes (DeMux) the received signal in
수신기는 디코딩 결과로 생성된 기하학(geometry) 프레임(1022), 색상 프레임(1024), 점유 맵 프레임(1026) 및 다른 속성 정보 프레임(1028)을 기반으로 패킹된 2D 이미지를 복원할 수 있다. 이어, 수신기는 1032 단계에서 패킹된 2D 이미지에 대한 패킹 해제(unpacking) 동작을 수행하고, 1042 단계에서 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성한다. The receiver may reconstruct the packed 2D image based on the
수신기는 3D 이미지 생성 과정에서 중복 포인트들이 발견되면, 1052 단계에서 중복 포인트들에 대한 처리를 수행한다. 즉, 수신기는 본 개시의 다양한 실시 예들에 따른 중복 포인트 처리 방법들 중 적어도 하나를 기반으로 중복 포인트 색상을 결정하는 동작을 수행한다.If duplicate points are found in the 3D image generation process, the receiver performs processing on the duplicate points in
이어 수신기는 1062 단계에서 중복 포인트 처리 과정에서 2D로 변환되었던 이미지를 3D로 다시 복원하고, 1072 단계에서 3D 이미지를 구성하는 포인트 클라우드들을 표시한다. In
상기에서는 수신기 측면에서의 중복 포인트 처리 방법 및 장치에 대해 설명하였으나, 송신기 측면에서의 중복 포인트 처리 방법 및 장치가 고려될 수도 있다. 송신기는 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버 또는 다른 일반적인 장치일 수 있으며 그 내부 구성은 도 11a에 도시된 바와 같다.In the above, the method and apparatus for processing duplicate points on the receiver side have been described. However, the method and apparatus for processing duplicate points on the transmitter side may be considered. The transmitter may be a server or other general device for providing data or services related to 3D images, the internal configuration of which is shown in FIG. 11A.
도 11a 본 개시의 일 실시 예에 따른 송신기의 내부 구성을 간략히 도시한 도면이다.11A is a diagram schematically illustrating an internal configuration of a transmitter according to an embodiment of the present disclosure.
도 11a를 참조하면, 송신기는 3D 이미지 생성 또는 수신부(1110), 세그먼테이션 처리 관리부(1120), 2D 이미지 프로젝션 처리부(1130), 중복 포인트 처리부(1140), 인코더(1150), 캡슐화 처리부(1160) 등을 포함한다.Referring to FIG. 11A, the transmitter includes a 3D image generating or receiving
3D 이미지 생성 또는 수신부(1110)는 3D 이미지를 생성하거나, 네트워크로부터 3D 이미지를 수신하거나, 사용자로부터 3D 이미지를 입력받는다. 3D 이미지 생성 또는 수신부(1110)는 여러 방향에서 촬영된 다수의 카메라들로부터의 이미지들을 이어 붙여(stitching) 3D 이미지를 생성할 수 있다. 또한, 이미 만들어진 3D 이미지에 관한 데이터를 외부 장치나 네트워크로부터 수신할 수도 있다. 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링 될 수 있으나, 앞서 언급한 3D 이미지의 형태는 예시적인 것이 불과하며, 해당 기술 분야에서 이용 가능한 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있음은 물론이다.The 3D image generating or receiving
세그먼테이션 처리 관리부(1120)는 LoD 결정부(1121), voxelization 처리부(1123), 세그먼테이션 처리부(1125) 등을 포함한다. 도 11a에서는 LoD 결정부(1121), voxelization 처리부(1123)가 세그먼테이션 처리부(1125) 앞에 배치되도록 도시되었지만, 그 배치 순서는 이에 한정되지 않고 다양하게 변경될 수 있다. The
LoD 결정부(1121)는 수신된 3D 이미지에 대해 LoD(level of Detail) 값을 결정하고, 결정된 LoD 값을 기반으로 복셀(voxel)의 크기인 L 값을 결정한다. LoD 값은 "정밀도"로 나타낼 수 있다. 그리고, L 값은 설정된 값이 될 수도 있다. 만약, LoD 값이 0인 경우, Voxelization 처리부(1123)의 동작 없이 바로 세그먼테이션 처리부(125)의 동작이 수행될 수 있다.The
LoD 결정부(1121)는 포인트 클라우드 캡쳐링(capturing) 상황에서 대역폭을 확인하고, 확인된 대역폭에 따라 LoD 값을 결정할 수 있다. 또한 LoD 결정부(1121)는 사용자의 관심 위치(또는 사용자가 바라보는 공간 또는 사용자의 시선 위치(즉, 사용자가 바라보는 위치에서부터 오브젝션까지의 거리))에 따라 LoD 값을 결정할 수도 있다. The
voxelization 처리부(1123)는 복셀화(voxelization) 처리 과정을 수행한다. 예를 들어, voxelization 처리부(1123)는 L 값을 기반으로 하나의 정육면체를 다수개의 복셀들로 나누고, 압축 효율을 높이기 위해서 포인트 클라우드들의 개수를 줄이는 동작을 수행할 수 있다.The
세그먼테이션 처리부(1125)는 하나의 복셀 내의 중심 포인트의 주변에 위치하는 하나 또는 그 이상의 포인트를 이용하여 세그먼테이션 관련 정보를 획득하고, 상기 획득된 세그먼테이션 관련 정보를 이용하여 세그먼테이션을 수행한다. 여기서 세그먼테이션 관련 정보는 색상(color), 텍스쳐(texture), 위치, 노말(normal) 정보, 및 기타 속성 정보 중 적어도 하나를 포함한다. 여기서 텍스쳐는 패턴과 관련된 정보를 의미하고, 노말 정보는 평면과 관련된 정보를 의미한다. 예컨대, 노말 정보는 평면인지 아닌지 여부를 나타내는 정보를 의미한다.The
2D 이미지 프로젝션 처리부(1130)는 3D 이미지를 2D 이미지로 프로젝션 처리한다. 3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술분야에서 이용 가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.The 2D image
중복 포인트 처리부(1140)는 사전에 기계 학습(machine learning)을 활용하여 프로젝션된 2D 이미지에 대해 중복 포인트가 자주 발생하는 포인트 클라우드들의 기하학적 배치를 학습한다. 그리고 중복 포인트 처리부(1140)는 학습된 데이터를 기반으로 중복 포인트가 될 확률이 높은 포인트 클라우드들과 관련한 정보(예를 들어, 해당 포인트 클라우드들의 분포 정보 등)를 부가 정보로서 생성한다. 부가 정보는 포인트 클라우드 별로 설정되거나, 전체 포인트 클라우드들에 대하여 설정되거나, 중복 포인트가 될 확률이 높은 포인트 클라우드들에 대하여 설정되는 등 다양한 형태로 생성될 수 있다. 또한 중복 포인트가 될 확률이 높은 포인트 클라우드들에 대한 기하학 정보가 높은 정밀도로 인코딩되도록, 부가 정보를 송신하기 위한 추가적인 비트가 할당될 수 있다.The duplicated
인코더(1150)는 프로젝션된 2D 이미지를 인코딩한다. 인코더(1150)는 패킹된 2D 이미지의 복수의 영역들 중 둘 이상의 영역들에 대하여 인코딩할 수 있다. 가능한 실시 예로서, 패킹된 2D 이미지 전체에 대하여 인코딩할 수 있다. 인코더(1150)는 기존에 알려진 2D 이미지에 대한 인코딩 방식을 이용하여 인코딩할 수 있다. Encoder 1150 encodes the projected 2D image. The
캡슐화 처리부(1160)는 인코딩된 2D 이미지 관련 데이터 및 부가 정보를 캡슐화(encapsulation) 처리한다. 캡슐화는 인코딩된 데이터를 분할하고, 분할물들에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공하는 것을 의미할 수 있다. 캡슐화 처리부(1160)에 의해 캡슐화된 데이터는 수신기로 전송될 수 있다. 이 때, 캡슐화된 데이터와 함께, 또는 데이터와 개별적으로 데이터와 관련된 추가적인 데이터, 데이터를 재생하기 위해 필요한 데이터(예를 들어, 메타 데이터)가 전송될 수 있다.The
한편, 도 11a에서는 송신기가 다수개의 구성부들을 포함하는 것을 도시하였으나, 다수개의 구성부들은 제어부 또는 프로세서와 같은 하나의 물리적인 구성부로서 통합될 수 있음은 물론이다. 또한, 도 11a에 도시되어 있지는 않으나 송신기는 수신기와 통신을 수행할 수 있는 송수신부(transceiver), 송신기의 동작과 관련한 여러 가지 다양한 정보를 저장할 수 있는 메모리 등을 더 포함할 수 있다.Meanwhile, although FIG. 11A illustrates that the transmitter includes a plurality of components, the plurality of components may be integrated as one physical component such as a controller or a processor. In addition, although not shown in FIG. 11A, the transmitter may further include a transceiver capable of communicating with a receiver, a memory capable of storing various information related to the operation of the transmitter, and the like.
도 11b는 본 개시의 일 실시 예에 따른 송신기의 동작을 나타낸 도면이다.11B illustrates an operation of a transmitter according to an embodiment of the present disclosure.
도 11b를 참조하면, 송신기는 1112 단계에서 포인트 클라우드들로 이루어진 3D 이미지를 획득하고, 1127 단계에서 획득된 3D 이미지에 대한 세그먼테이션 처리 동작을 수행한다. 구체적으로, 송신기는 획득된 3D 이미지에 대한 LoD 값을 결정하고, 결정된 LoD 값을 기반으로 복셀의 크기인 L 값을 결정한다. 그리고 송신기는 L 값을 기반으로 하나의 정육면체를 다수개의 복셀들로 나누고 압축 효율을 높이기 위해 포인트 클라우드들의 개수를 줄이는 동작을 수행한다. 이어 송신기는 하나의 복셀 내의 중심 포인트의 주변에 위치하는 하나 또는 그 이상의 포인트를 이용하여 세그먼테이션 관련 정보를 획득하고, 상기 획득된 세그먼테이션 관련 정보를 이용하여 세그먼테이션을 수행한다.Referring to FIG. 11B, the transmitter acquires a 3D image of point clouds in
송신기는 1132 단계에서 3D 이미지를 2D 이미지로 프로젝션 처리한다. 그리고 송신기는 1142 단계에서 프로젝션된 2D 이미지에 대해 중복 포인트가 자주 발생하는 포인트 클라우드들의 기하학적 배치를 학습한다. 그리고 송신기는 학습된 데이터를 기반으로 중복 포인트가 될 확률이 높은 포인트 클라우드들과 관련한 정보(예를 들어, 해당 포인트 클라우드들의 분포 정보 등)를 부가 정보로서 생성한다.The transmitter projects the 3D image into the 2D image in
송신기는 1152 단계에서 점유 맵을 생성하고, 1162 단계에서 프로젝션된 2D 이미지를 패킹(packing) 처리한다. 패킹은 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부를, 변형 및/또는 재배치하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 여기서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등을 의미할 수 있다. 이러한 패킹 방식은 영역별(region-wise) 패킹으로 지칭될 수 있다.The transmitter generates an occupancy map in
송신기는 패킹 처리된 2D 이미지와 관련된 정보를 기하학 정보(1171), 색상 정보(1173), 점유 맵(1175), 다른 속성 맵(1177)를 각각 1172, 1174, 1176, 1178 단계에서 인코딩한다. 그리고 송신기는 1190 단계에서 중복 포인트 처리를 위한 부가 정보(1180)를 송신하기 위한 비트를 할당하고, 부가 정보를 인코딩된 정보와 함께 다중화(multiplex: Mux)하여 송신한다. The transmitter encodes the information related to the packed 2D image in the
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.
Claims (20)
3차원 이미지에 포함된 포인트 클라우드(point cloud)들을 압축하여 복원하는 과정과,
복원된 포인트 클라우드들 중 동일한 위치 값과 상이한 색상 값들을 갖는 다수개의 포인트 클라우드들을 중복(duplicate) 포인트들로서 검출하는 과정과,
상기 중복 포인트들의 색상 값들 간 유사도를 측정하는 과정과,
상기 측정된 유사도와 임계 값을 비교하고, 상기 비교 결과를 기반으로 상기 중복 포인트들의 색상 값들에 대한 평균 값을 상기 위치 값에 대응되는 색상 값으로 결정하는 과정을 포함하는 중복 포인트 처리 방법.
In the duplicate point processing method,
Compressing and restoring point clouds included in the 3D image;
Detecting a plurality of point clouds having the same location value and different color values among the reconstructed point clouds as duplicate points,
Measuring similarity between color values of the overlapping points;
Comparing the measured similarity with a threshold value and determining an average value for color values of the overlapping points as a color value corresponding to the position value based on the comparison result.
상기 유사도를 측정하는 과정은,
상기 중복 포인트들의 색상 값들의 공분산(covariance)을 포함하는 유사도를 계산하는 과정을 포함하는 중복 포인트 처리 방법.
The method of claim 1,
The process of measuring the similarity,
And calculating a similarity including a covariance of color values of the overlapping points.
상기 중복 포인트들은 복셀(voxel) 단위로 검출됨을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 1,
The overlapping point processing method characterized in that the detection of the overlapping points in the unit of voxel (voxel).
상기 중복 포인트들의 색상 값들에 대한 평균 값은 레드(red: R), 그린(green: G), 블루(blue: B) 요소 별로 계산됨을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 1,
The average value of the color values of the overlapping points is calculated for each of the red (R), green (G), blue (B :) elements, characterized in that the overlap point processing method.
상기 중복 포인트들의 색상 값들에 대한 평균 값은 상기 중복 포인트들의 색상 값들에 대응되는 레드(red: R), 그린(green: G), 블루(blue: B) 요소를 기반으로 하는 벡터값들을 이용하여 계산됨을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 1,
The average value of the color values of the overlapping points is determined using vector values based on red (R), green (G), and blue (B) elements corresponding to the color values of the overlapping points. The method of processing duplicate points, characterized in that calculated.
상기 비교 결과를 기반으로 상기 중복 포인트들의 위치 값으로부터 미리 설정된 거리만큼 떨어진 위치 값을 갖는 이웃 포인트 클라우드를 선택하는 과정과,
상기 중복 포인트들과 상기 이웃 포인트 클라우드의 사이에 위치한 포인트 클라우드들을 검출하는 과정과,
상기 검출된 포인트 클라우드들의 색상 값들 각각에 가중치 값을 적용하고, 상기 가중치 값이 각각 적용된 색상 값들에 대한 평균 값을 가중 평균 값으로서 계산하는 과정과,
상기 가중 평균 값을 상기 중복 포인트들의 위치 값에 대응되는 색상 값으로 결정하는 과정을 더 포함하는 중복 포인트 처리 방법.
The method of claim 1,
Selecting a neighbor point cloud having a position value separated by a predetermined distance from the position value of the overlapping points based on the comparison result;
Detecting point clouds located between the duplicated points and the neighboring point cloud;
Applying a weight value to each of the color values of the detected point clouds, and calculating an average value for the color values to which the weight value is applied, respectively, as a weighted average value;
And determining the weighted average value as a color value corresponding to the position values of the overlapping points.
상기 검출된 포인트 클라우드들 각각에 적용되는 가중치 값은 해당 포인트 클라우드가 상기 중복 포인트들과 가까울수록 큰 값을 가짐을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 6,
The weighted value applied to each of the detected point clouds has a larger value as the corresponding point cloud gets closer to the duplicated points.
상기 비교 결과를 기반으로 상기 중복 포인트들의 위치 값으로부터 미리 설정된 거리만큼 떨어진 위치 값을 갖는 이웃 포인트 클라우드를 선택하는 과정과,
상기 중복 포인트들과 상기 이웃 포인트 클라우드의 사이에 위치한 포인트 클라우드들을 검출하는 과정과,
상기 검출된 포인트 클라우드들의 색상 값들 각각에 가중치 값을 적용하고, 상기 가중치 값이 각각 적용된 색상 값들에 대한 평균 값을 가중 평균 값으로서 계산하는 과정과,
상기 중복 포인트들의 색상 값들 중 상기 가중 평균 값과의 차이가 가장 작은 색상 값을 상기 중복 포인트들의 위치 값에 대응되는 색상 값으로 결정하는 과정을 더 포함하는 중복 포인트 처리 방법.
The method of claim 1,
Selecting a neighbor point cloud having a position value separated by a predetermined distance from the position value of the overlapping points based on the comparison result;
Detecting point clouds located between the duplicated points and the neighboring point cloud;
Applying a weight value to each of the color values of the detected point clouds, and calculating an average value for the color values to which the weight value is applied, respectively, as a weighted average value;
And determining a color value having the smallest difference from the weighted average values among the color values of the overlapping points as a color value corresponding to the position value of the overlapping points.
상기 검출된 포인트 클라우드들 각각에 적용되는 가중치 값은 해당 포인트 클라우드가 상기 중복 포인트들과 가까울수록 큰 값을 가짐을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 8,
The weighted value applied to each of the detected point clouds has a larger value as the corresponding point cloud gets closer to the duplicated points.
상기 중복 포인트들은 부가 정보를 기반으로 검출되며, 상기 부가 정보는 복원시 상기 중복 포인트들이 될 확률이 높은 포인트 클라우드들에 대한 정보를 포함함을 특징으로 하는 중복 포인트 처리 방법.
The method of claim 1,
The duplicated points are detected based on additional information, and the additional information includes information on point clouds having a high probability of being duplicated points when reconstructed.
3차원 이미지에 포함된 포인트 클라우드(point cloud)들을 압축하여 복원하는 디코더와,
복원된 포인트 클라우드들 중 동일한 위치 값과 상이한 색상 값들을 갖는 다수개의 포인트 클라우드들을 중복(duplicate) 포인트들로서 검출하고, 상기 중복 포인트들의 색상 값들 간 유사도를 측정하고, 상기 측정된 유사도와 임계 값을 비교하고, 상기 비교 결과를 기반으로 상기 중복 포인트들의 색상 값들에 대한 평균 값을 상기 위치 값에 대응되는 색상 값으로 결정하는 제어부를 포함하는 중복 포인트 처리 장치.
In the redundant point processing apparatus,
A decoder for compressing and restoring point clouds included in a 3D image;
Detecting a plurality of point clouds having the same position value and different color values among the reconstructed point clouds as duplicate points, measuring the similarity between the color values of the duplicate points, and comparing the measured similarity and threshold values. And a controller configured to determine an average value of color values of the overlapping points as a color value corresponding to the position value, based on the comparison result.
상기 제어부는 상기 중복 포인트들의 색상 값들의 공분산(covariance)을 포함하는 유사도를 계산함을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
And the control unit calculates a similarity including a covariance of color values of the overlapping points.
상기 중복 포인트들은 복셀(voxel) 단위로 검출됨을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
The overlapping point processing apparatus according to claim 1, wherein the overlapping points are detected in a voxel unit.
상기 중복 포인트들의 색상 값들에 대한 평균 값은 레드(red: R), 그린(green: G), 블루(blue: B) 요소 별로 계산됨을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
The average value of the color values of the overlapping points is calculated for each of red (R), green (G), blue (B :) elements, characterized in that the overlap point processing apparatus.
상기 중복 포인트들의 색상 값들에 대한 평균 값은 상기 중복 포인트들의 색상 값들에 대응되는 레드(red: R), 그린(green: G), 블루(blue: B) 요소를 기반으로 하는 벡터값들을 이용하여 계산됨을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
The average value of the color values of the overlapping points is determined using vector values based on red (R), green (G), and blue (B) elements corresponding to the color values of the overlapping points. Redundant point processing apparatus, characterized in that calculated.
상기 제어부는 상기 비교 결과를 기반으로 상기 중복 포인트들의 위치 값으로부터 미리 설정된 거리만큼 떨어진 위치 값을 갖는 이웃 포인트 클라우드를 선택하고, 상기 중복 포인트들과 상기 이웃 포인트 클라우드의 사이에 위치한 포인트 클라우드들을 검출하고, 상기 검출된 포인트 클라우드들의 색상 값들 각각에 가중치 값을 적용하고, 상기 가중치 값이 각각 적용된 색상 값들에 대한 평균 값을 가중 평균 값으로서 계산하고, 상기 가중 평균 값을 상기 중복 포인트들의 위치 값에 대응되는 색상 값으로 결정함을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
The controller selects a neighboring point cloud having a position value spaced apart from the position values of the overlapping points by a predetermined distance based on the comparison result, and detects point clouds located between the overlapping points and the neighboring point cloud. Apply a weight value to each of the color values of the detected point clouds, calculate an average value for each of the color values to which the weight value is applied, as a weighted average value, and apply the weighted average value to the position values of the overlapping points. Redundancy point processing apparatus characterized in that determined by the color value.
상기 검출된 포인트 클라우드들 각각에 적용되는 가중치 값은 해당 포인트 클라우드가 상기 중복 포인트들과 가까울수록 큰 값을 가짐을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 16,
And a weight value applied to each of the detected point clouds has a larger value as the corresponding point cloud is closer to the duplicate points.
상기 제어부는 상기 비교 결과를 기반으로 상기 중복 포인트들의 위치 값으로부터 미리 설정된 거리만큼 떨어진 위치 값을 갖는 이웃 포인트 클라우드를 선택하고, 상기 중복 포인트들과 상기 이웃 포인트 클라우드의 사이에 위치한 포인트 클라우드들을 검출하고, 상기 검출된 포인트 클라우드들의 색상 값들 각각에 가중치 값을 적용하고, 상기 가중치 값이 각각 적용된 색상 값들에 대한 평균 값을 가중 평균 값으로서 계산하고, 상기 중복 포인트들의 색상 값들 중 상기 가중 평균 값과의 차이가 가장 작은 색상 값을 상기 중복 포인트들의 위치 값에 대응되는 색상 값으로 결정함을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 11,
The controller selects a neighboring point cloud having a position value spaced apart from the position values of the overlapping points by a predetermined distance based on the comparison result, and detects point clouds located between the overlapping points and the neighboring point cloud. Apply a weight value to each of the color values of the detected point clouds, calculate an average value for each of the color values to which the weight value is applied, as a weighted average value, and compare the weighted average value with the weighted average value among the color values of the overlapping points. And the color value having the smallest difference as the color value corresponding to the position value of the overlapping points.
상기 검출된 포인트 클라우드들 각각에 적용되는 가중치 값은 해당 포인트 클라우드가 상기 중복 포인트들과 가까울수록 큰 값을 가짐을 특징으로 하는 중복 포인트 처리 장치.
The method of claim 18,
And a weight value applied to each of the detected point clouds has a larger value as the corresponding point cloud is closer to the duplicate points.
상기 중복 포인트들은 부가 정보를 기반으로 검출되며, 상기 부가 정보는 복원시 상기 중복 포인트들이 될 확률이 높은 포인트 클라우드들에 대한 정보를 포함함을 특징으로 하는 중복 포인트 처리 장치.The method of claim 11,
The duplicated points are detected based on additional information, and the additional information includes information on point clouds having a high probability of being duplicated points upon restoration.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180040585A KR20190117287A (en) | 2018-04-06 | 2018-04-06 | Method and apparatus for processing duplicate point |
PCT/KR2019/003844 WO2019194522A1 (en) | 2018-04-06 | 2019-04-02 | Method and device for processing duplicate points |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180040585A KR20190117287A (en) | 2018-04-06 | 2018-04-06 | Method and apparatus for processing duplicate point |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190117287A true KR20190117287A (en) | 2019-10-16 |
Family
ID=68100885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180040585A KR20190117287A (en) | 2018-04-06 | 2018-04-06 | Method and apparatus for processing duplicate point |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20190117287A (en) |
WO (1) | WO2019194522A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021206291A1 (en) * | 2020-04-08 | 2021-10-14 | 엘지전자 주식회사 | Point cloud data transmission device, transmission method, processing device, and processing method |
KR20220067938A (en) * | 2020-11-18 | 2022-05-25 | 광운대학교 산학협력단 | A method for compressing in point cloud |
KR20220157586A (en) | 2021-05-21 | 2022-11-29 | 한국항공대학교산학협력단 | System and method for restoration of point cloud |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
US10909725B2 (en) | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
US11113845B2 (en) | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
US11057564B2 (en) | 2019-03-28 | 2021-07-06 | Apple Inc. | Multiple layer flexure for supporting a moving image sensor |
US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
US11627314B2 (en) | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
US11625866B2 (en) | 2020-01-09 | 2023-04-11 | Apple Inc. | Geometry encoding using octrees and predictive trees |
US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
US11948338B1 (en) | 2021-03-29 | 2024-04-02 | Apple Inc. | 3D volumetric content encoding using 2D videos and simplified 3D meshes |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2373707A1 (en) * | 2001-02-28 | 2002-08-28 | Paul Besl | Method and system for processing, compressing, streaming and interactive rendering of 3d color image data |
US8269775B2 (en) * | 2008-12-09 | 2012-09-18 | Qualcomm Incorporated | Discarding of vertex points during two-dimensional graphics rendering using three-dimensional graphics hardware |
US9390110B2 (en) * | 2012-05-02 | 2016-07-12 | Level Set Systems Inc. | Method and apparatus for compressing three-dimensional point cloud data |
US9214138B2 (en) * | 2012-12-28 | 2015-12-15 | Microsoft Technology Licensing, Llc | Redundant pixel mitigation |
KR101510312B1 (en) * | 2013-09-13 | 2015-04-10 | 인하대학교 산학협력단 | 3D face-modeling device, system and method using Multiple cameras |
-
2018
- 2018-04-06 KR KR1020180040585A patent/KR20190117287A/en unknown
-
2019
- 2019-04-02 WO PCT/KR2019/003844 patent/WO2019194522A1/en active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021206291A1 (en) * | 2020-04-08 | 2021-10-14 | 엘지전자 주식회사 | Point cloud data transmission device, transmission method, processing device, and processing method |
US11601488B2 (en) | 2020-04-08 | 2023-03-07 | Lg Electronics Inc. | Device and method for transmitting point cloud data, device and method for processing point cloud data |
KR20220067938A (en) * | 2020-11-18 | 2022-05-25 | 광운대학교 산학협력단 | A method for compressing in point cloud |
KR20220157586A (en) | 2021-05-21 | 2022-11-29 | 한국항공대학교산학협력단 | System and method for restoration of point cloud |
Also Published As
Publication number | Publication date |
---|---|
WO2019194522A1 (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20190117287A (en) | Method and apparatus for processing duplicate point | |
JP7303992B2 (en) | Mesh compression via point cloud representation | |
EP3751857A1 (en) | A method, an apparatus and a computer program product for volumetric video encoding and decoding | |
US11803986B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
TW201531745A (en) | Methods for full parallax compressed light field 3D imaging systems | |
US11902348B2 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20220377327A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20150271522A1 (en) | Method, program and apparatus for reducing data size of a plurality of images containing mutually similar information, and data structure representing a plurality of images containing mutually similar information | |
US20230328285A1 (en) | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device | |
US20230290006A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20230059625A1 (en) | Transform-based image coding method and apparatus therefor | |
CN114450940B (en) | Method for encoding and decoding immersive video, encoder and decoder | |
JP7344988B2 (en) | Methods, apparatus, and computer program products for volumetric video encoding and decoding | |
US20230334703A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20220319053A1 (en) | Point cloud data processing device and method | |
US20220360823A1 (en) | Device and method for processing point cloud data | |
Alface et al. | V3c-based coding of dynamic meshes | |
US20240155157A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method | |
US20220239946A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20240185467A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20230412837A1 (en) | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device | |
US20240177355A1 (en) | Sub-mesh zippering | |
US20240121435A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
US20240020885A1 (en) | Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device | |
EP4358519A1 (en) | Point cloud data transmission device and method, and point cloud data reception device and method |