KR20100114468A - Method and apparatus for encoding/decoding 3d contents data - Google Patents
Method and apparatus for encoding/decoding 3d contents data Download PDFInfo
- Publication number
- KR20100114468A KR20100114468A KR1020100034199A KR20100034199A KR20100114468A KR 20100114468 A KR20100114468 A KR 20100114468A KR 1020100034199 A KR1020100034199 A KR 1020100034199A KR 20100034199 A KR20100034199 A KR 20100034199A KR 20100114468 A KR20100114468 A KR 20100114468A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- content data
- encoding
- plane
- value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03K—PULSE TECHNIQUE
- H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
- H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
- H03K19/21—EXCLUSIVE-OR circuits, i.e. giving output if input signal exists at only one input; COINCIDENCE circuits, i.e. giving output only if all input signals are identical
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 3차원 컨텐츠 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치에 관한 것으로서, 보다 상세하게는 3차원 메쉬 모델에 대한 법선 벡터 및 코디네이트 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding and decoding three-dimensional content data, and more particularly, to a method and apparatus for encoding and decoding normal vectors and coordinate data for a three-dimensional mesh model.
본 발명은 문화체육관광부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다.[과제관리번호 : 2008-F-030-02, 과제명 : 방송융합형 Full 3D 복원 기술 개발(표준화연계)]
The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Culture, Sports and Tourism. [Task management number: 2008-F-030-02, Title: Development of broadcasting convergence type full 3D restoration technology )]
현재, 컴퓨터 그래픽스 분야에서 3차원 컨텐츠를 표현하는 방법으로, 삼각형 메쉬(Triangular Mesh)가 널리 이용되고 있다. 3차원 메쉬 모델에 대한 데이터를 인코딩하기 위한 3DMC(3D Mesh Coding)에서는 삼차원 모델이 연결정보, 위치정보 그리고 기타 정보로 나누어져 인코딩이 수행된다. 구체적으로 3DMC에서 3차원 메쉬 데이터는 양자화, 예측 부호화 및 엔트로피 부호화 과정을 거쳐 인코딩된다.Currently, a triangular mesh is widely used as a method of representing 3D content in the field of computer graphics. In 3D Mesh Coding (3DMC) for encoding data for a 3D mesh model, the 3D model is divided into connection information, location information, and other information to perform encoding. In 3DMC, 3D mesh data is encoded through quantization, prediction encoding, and entropy encoding.
그런데, 3차원 메쉬 데이터 중 3차원 메쉬 모델의 분할면에 대한 법선 벡터 값은 예측 부호화없이 인코딩이 이루어진다. 법선 벡터의 특성 상 예측 부호화에 따른 오류 발생율이 높기 때문이다. 즉, 분할면에 대한 법선 벡터는 분할면에 수직인 법선을 나타내는 벡터인데, 한 변을 공유하는 분할면 간의 각도 차이가 조금만 증가하더라도 두 분할면에 대한 법선 벡터간의 간격은 매우 증가하기 때문이다.However, the normal vector value of the split plane of the 3D mesh model among the 3D mesh data is encoded without predictive encoding. This is because the error occurrence rate due to prediction coding is high due to the characteristics of the normal vector. That is, the normal vector for the dividing plane is a vector representing a normal perpendicular to the dividing plane, because the spacing between the normal vectors for the two dividing planes increases even if the angle difference between the dividing planes sharing one side increases only a little.
따라서 예측 부호화없이 수행되는 법선 벡터에 대한 인코딩은 인코딩 효율이 좋지 못하며, 법선 벡터에 대한 효율적인 인코딩 방법이 필요하다.
Therefore, encoding for a normal vector performed without predictive encoding is not good in encoding efficiency, and an efficient encoding method for the normal vector is required.
본 발명은 3차원 메쉬 모델에 대한 법선 벡터 및 코디네이트 데이터를 인코딩 및 디코딩하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.An object of the present invention is to provide a method and apparatus for encoding and decoding normal vector and coordinate data for a three-dimensional mesh model.
또한 본 발명은 3차원 메쉬 모델에 대한 법선 벡터 및 코디네이트 데이터를 보다 효과적으로 인코딩 및 디코딩하기 위한 방법 및 장치를 제공하는데 그 목적이 있다.Another object of the present invention is to provide a method and apparatus for more efficiently encoding and decoding normal vector and coordinate data for a three-dimensional mesh model.
본 발명의 다른 목적 및 장점은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은 3차원 메쉬 데이터의 법선 벡터 값에 대한 양자화를 수행하는 단계; 상기 양자화 결과 값을 이용하여 XOR 연산을 수행하는 단계; 및 상기 XOR 연산 결과 값을 이용하여 엔트로피 부호화를 수행하는 단계를 포함하는 3차원 컨텐츠 데이터 인코딩 방법을 제공한다.The present invention for achieving the above object comprises the steps of performing quantization on the normal vector value of the three-dimensional mesh data; Performing an XOR operation using the quantization result value; And performing entropy encoding using the result of the XOR operation.
또한 상기 목적을 달성하기 위한 본 발명은 인코딩된, 3차원 메쉬 데이터의 법선 벡터 값을 입력받는 단계; 양자화된 법선 벡터 값의 XOR 연산에 따른 예측 부호화 정보가 포함된 인코딩 정보를 입력받는 단계; 및 상기 인코딩 정보를 이용하여 상기 인코딩된 법선 벡터 값을 디코딩하는 단계를 포함하는 3차원 컨텐츠 데이터 디코딩 방법을 제공한다.In addition, the present invention for achieving the above object comprises the steps of receiving a normal vector value of the encoded, three-dimensional mesh data; Receiving encoding information including prediction encoding information according to an XOR operation of a quantized normal vector value; And decoding the encoded normal vector value using the encoding information.
또한 상기 목적을 달성하기 위한 본 발명은 3차원 메쉬 모델에 대한 메쉬 데이터를 입력받는 단계; 상기 메쉬 데이터를 이용하여, 상기 3차원 메쉬 모델의 분할면 크기를 분석하는 단계; 및 크기가 동일한 분할면의 개수에 따라, 상기 상기 3차원 메쉬 모델의 코디네이트에 대응되는 변환 정보를 생성하는 단계를 포함하는 3차원 컨텐츠 데이터 인코딩 방법을 제공한다.In addition, the present invention for achieving the above object comprises the steps of receiving mesh data for the three-dimensional mesh model; Analyzing the size of the split plane of the three-dimensional mesh model using the mesh data; And generating transformation information corresponding to the coordinates of the 3D mesh model according to the number of dividing planes having the same size.
또한 상기 목적을 달성하기 위한 본 발명은 인코딩된, 3차원 메쉬 모델의 코디네이트에 대한 변환 정보를 입력받는 단계; 상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수와 기 설정 값과의 비교 결과에 따라, 상기 코디네이트가 상기 변환 정보로 변환되었음을 나타내는 인코딩 정보를 입력받는 단계; 및 상기 인코딩 정보를 이용하여 상기 변환 정보를 디코딩하는 단계를 포함하는 3차원 컨텐츠 데이터 디코딩 방법을 제공한다.
In addition, the present invention for achieving the above object comprises the steps of receiving the transform information for the coordinates of the encoded, three-dimensional mesh model; Receiving encoding information indicating that the coordination has been converted into the conversion information according to a result of comparing the number of groups including the same dividing plane among the dividing planes of the 3D mesh model with a preset value; And decoding the transform information by using the encoding information.
본 발명에 따르면, 3차원 메쉬 데이터의 법선 벡터 값을 XOR 연산을 통해 인코딩함으로써 인코딩 효율이 높아지는 효과가 있다.According to the present invention, encoding efficiency is increased by encoding normal vector values of three-dimensional mesh data through an XOR operation.
또한 본 발명에 따르면, 3차원 메쉬 모델의 분할면 크기에 따라 코디네이트를 기 설정된 변환 정보로 변환함으로써 인코딩 효율이 높아지는 효과가 있다.
In addition, according to the present invention, the encoding efficiency is increased by converting the coordinates into preset conversion information according to the dividing plane size of the 3D mesh model.
도 1은 일반적으로 3D Mesh Coding(3DMC)에서 법선 벡터 값을 인코딩하는 방법을 설명하기 위한 도면,
도 2 및 도 3은 법선 벡터를 양자화하기 위한 방법을 설명하기 위한 도면,
도 4는 본 발명의 일실시예에 따른 3차원 컨텐츠 데이터 인코딩 장치 및 방법을 설명하기 위한 도면,
도 5는 본 발명의 일실시예에 따른 3차원 컨텐츠 데이터 디코딩 방법을 설명하기 위한 도면,
도 6은 3차원 컨텐츠에 대한 텍스처 표현을 설명하기 위한 도면,
도 7은 본 발명의 다른 실시예에 따른 3차원 컨텐츠 데이터 인코딩 방법 및 장치를 설명하기 위한 도면,
도 8 및 도 9는 도 7의 제1생성부(707)를 보다 구체적으로 설명하기 위한 도면,
도 10은 도 9에서 설명된 변환 정보를 포함하는 비트스트림을 나타내는 도면,
도 11 및 도 12는 도 7의 제2생성부(709)를 보다 구체적으로 설명하기 위한 도면,
도 13은 도 12에서 설명된 변환 정보를 포함하는 비트스트림을 나타내는 도면,
도 14는 본 발명의 다른 실시예에 따른 3차원 컨텐츠 데이터 디코딩 방법을 설명하기 위한 도면이다.1 is a view for explaining a method of encoding a normal vector value in 3D Mesh Coding (3DMC) in general,
2 and 3 are diagrams for explaining a method for quantizing a normal vector,
4 is a view for explaining an apparatus and method for encoding 3D content data according to an embodiment of the present invention;
5 is a view for explaining a 3D content data decoding method according to an embodiment of the present invention;
6 is a view for explaining a texture representation for three-dimensional content;
7 is a view for explaining a method and apparatus for encoding 3D content data according to another embodiment of the present invention;
8 and 9 are views for explaining the
10 is a diagram illustrating a bitstream including transformation information described in FIG. 9;
11 and 12 are diagrams for describing the
FIG. 13 is a diagram illustrating a bitstream including transformation information described in FIG. 12;
14 is a diagram for describing a 3D content data decoding method according to another embodiment of the present invention.
이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
DETAILED DESCRIPTION Hereinafter, the most preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. The above objects, features, and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, and in describing the present invention, a detailed description of well-known technology related to the present invention may unnecessarily obscure the subject matter of the present invention. If it is determined that the detailed description thereof will be omitted.
도 1은 일반적으로 3D Mesh Coding(3DMC)에서 법선 벡터 값을 인코딩하는 방법을 설명하기 위한 도면이다. FIG. 1 is a diagram for describing a method of encoding a normal vector value in 3D Mesh Coding (3DMC) in general.
3DMC에서 법선 벡터 값이 인코딩될 경우, 입력된 법선 벡터 값이 먼저 양자화되며, 양자화된 법선 벡터 값은 예측 부호화없이 엔트로피 부호화된다. 엔트로피 부호화된 법선 벡터 값은 비트스트림으로 생성되어 디코더로 전달될 수 있다. 즉 전술된 바와 같이, 종래의 경우 법선 벡터 값은 예측 부호화없이 인코딩된다.When the normal vector value is encoded in 3DMC, the input normal vector value is first quantized, and the quantized normal vector value is entropy coded without predictive coding. The entropy coded normal vector value may be generated as a bitstream and delivered to the decoder. That is, as described above, in the conventional case, normal vector values are encoded without predictive encoding.
한편, 3DMC에서는 엔트로피 부호화를 위하여 Binary Arithmetic Coding(BAC)가 이용된다. Arithmetic Coding(AC)은 확률 기반으로 엔트로피 부호화를 하는데, BAC는 입력 받은 심볼에서 0과 1 비트값의 발생 확률을 기반으로 하여 AC를 적용한다.
Meanwhile, in 3DMC, Binary Arithmetic Coding (BAC) is used for entropy coding. Arithmetic Coding (AC) performs entropy coding based on probability, and BAC applies AC based on the occurrence probability of 0 and 1 bit values in the received symbol.
도 2 및 도 3은 법선 벡터를 양자화하기 위한 방법을 설명하기 위한 도면이다.2 and 3 are diagrams for explaining a method for quantizing a normal vector.
법선 벡터를 양자화하기 위한 방법은 도 2 및 도 3에 도시된 바와 같이, 크게 2단계로 수행될 수 있다. 첫번째는 도 2에 도시된 바와 같이, 법선 벡터에 대한 방향성을 나타내는 것이며, 두번째는 도 3에 도시된 바와 같이, 3차원 메쉬 모델의 분할면을 기 설정된 횟수만큼 추가로 분할하여 생성되는 다각형 중 법선 벡터에 대응되는 다각형을 나타내는 것이다.The method for quantizing the normal vector may be largely performed in two steps, as shown in FIGS. 2 and 3. First, as shown in FIG. 2, the directionality with respect to the normal vector is shown, and second, as shown in FIG. 3, normals among polygons generated by further dividing the divided plane of the three-dimensional mesh model by a predetermined number of times. It represents a polygon corresponding to a vector.
먼저, 도 2를 설명하면, 도 2에서 3차원 객체(201)는 분할면이 삼각형인 3차원 메쉬 모델(203)로 표현될 수 있다. 그리고 3차원 메쉬 모델(203)에 포함된 분할면(205)의 법선 벡터의 방향성 정보를 생성한다. 이 때, 법선 벡터의 방향성 정보는 3비트로 표현될 수 있으며, 3차원 메쉬 모델(203)의 다른 분할면에 대한 법선 벡터의 방향성 정보 역시 생성된다.First, referring to FIG. 2, in FIG. 2, the
도 3에서는, 도 2에서 방향성이 결정된 분할면(205)이 다수의 삼각형으로 분할된다. 한 삼각형당 4개의 삼각형으로 분할될 수 있다. 분할면(205)이 n번만큼 나뉘어져 생성된 다수의 삼각형의 중점을 이용하여, 입력된 법선 벡터 값과 가장 인접한 삼각형이 검색된다. 그리고 검색된 삼각형이 대표 값으로 표현된다. 삼각형을 표현하기 위해 2비트가 필요할 경우, 검색된 삼각형이 대표 값으로 표현되기 위해 2*n bit가 필요하다.In FIG. 3, the dividing
즉, 법선 벡터의 양자화에 따라 방향성 정보 및 삼각형에 대한 대표 값이 생성된다. 이상에서는 종래의 법선 벡터 값을 인코딩하는 방법과 양자화하는 방법이 설명되었으며, 이하에서는 본 발명에 따른 3차원 컨텐츠 데이터 인코딩 장치 및 방법을 설명하기로 한다.
That is, the directional information and the representative values for the triangle are generated according to the quantization of the normal vector. The method of encoding and quantizing conventional normal vector values has been described above. Hereinafter, an apparatus and method for encoding 3D content data according to the present invention will be described.
도 4는 본 발명의 일실시예에 따른 3차원 컨텐츠 데이터 인코딩 장치 및 방법을 설명하기 위한 도면이다.4 is a diagram illustrating an apparatus and method for encoding 3D content data according to an embodiment of the present invention.
본 발명에 따른 3차원 컨텐츠 데이터 인코딩 방법은 3차원 메쉬 데이터의 법선 벡터 값에 대한 양자화를 수행한다. 그리고 양자화 결과 값을 이용하여 XOR 연산을 수행한다. XOR 연산 결과 값을 이용하여 엔트로피 부호화를 수행한다. The 3D content data encoding method according to the present invention performs quantization of normal vector values of 3D mesh data. The XOR operation is performed using the quantization result value. Entropy encoding is performed using the result of the XOR operation.
본 발명에 따른 3차원 컨텐츠 데이터 인코딩 방법은 종래와 달리, XOR 연산을 통해 예측 부호화를 수행한다. 본 발명에 따른 3차원 컨텐츠 데이터 인코딩 방법은 도 4에 도시된 인코딩 장치에 의해 수행될 수 있다.Unlike the conventional method, the 3D content data encoding method according to the present invention performs prediction encoding through an XOR operation. The 3D content data encoding method according to the present invention may be performed by the encoding apparatus shown in FIG. 4.
본 발명에 따른 3차원 컨텐츠 데이터 인코딩 장치는 양자화기(401), 예측 부호화기(403) 및 엔트로피 부호화기(405)를 포함한다. An apparatus for encoding 3D content data according to the present invention includes a
양자화기(401)는 3차원 메쉬 데이터의 법선 벡터 값에 대한 양자화를 수행한다. 양자화기(401)는 전술된 양자화 방법을 통해 법선 벡터 값을 양자화할 수 있다.The
예측 부호화기(403)는 양자화 결과 값을 이용하여 XOR 연산을 수행한다. 예측 부호화기(403)는 양자화된 결과 값들의 상관관계를 이용하여 XOR 연산을 수행하는데, XOR 기반 예측 부호화에 따라 엔트로피 부호화의 성능이 향상될 수 있다.The
종래 3DMC의 경우, 양자화 결과값이 이용되어 엔트로피 부호화가 이루어졌는데, 양자화 결과값은 고른 분포를 가지고 있으며 따라서 양자화 결과값을 통한 엔트로피 부호화는 인코딩 효율이 좋지 못하였다. 그러나 본 발명에 따른 3차원 컨텐츠 데이터 인코딩 장치는 예측 부호화기(403)를 통해 양자화 결과 값을 XOR연산하고, 한쪽 방향으로 집중되는 예측 부호화 값을 통해 엔트로피 부호화가 수행되므로 인코딩 효율이 증가할 수 있다.In the case of the conventional 3DMC, entropy encoding is performed by using the quantization result, and the quantization result has an even distribution. Therefore, entropy encoding through the quantization result has poor encoding efficiency. However, the 3D content data encoding apparatus according to the present invention may perform an XOR operation on the quantization result value through the
예측 부호화기(403)는 [수학식 1]과 같이 현재 양자화 결과 값(Qi)과, 이전 양자화 결과 값(Qi-1)을 XOR 연산할 수 있다. 여기서, i는 3차원 메쉬를 구성하는 분할면에 대한 인덱스 값을 나타낸다. 즉, 예측 부호화기(403)는 1번 분할면의 양자화된 값과, 2번 분할면의 양자화된 값을 XOR연산할 수 있다. 또한 최초 1번 분할면에 대해서만 양자화된 경우, 예측 부호화기(403)는 디폴트로 설정된 값과 1번 분할면에 대한 양자화 값을 XOR 연산할 수 있다.The
엔트로피 부호화기(405)는 XOR 연산 결과 값을 이용하여 엔트로피 부호화를 수행한다. 엔트로피 부호화기(405)는 Adaptive Arithmetic Coding(AAC)를 이용하여 엔트로피 부호화를 수행할 수 있다.The
한편, 예측 부호화기(403)는 모드에 따라 각각 다른 XOR연산을 수행할 수 있다. 제1모드에서 예측 부호화기(403)는 양자화 결과 값 전체 비트를 XOR연산할 수 있으며, 제2모드에서 예측 부호화기(403)는 양자화 결과 값 중 법선 벡터의 방향성 정보와 분할면의 추가 분할에 따른 기 설정된 다각형의 위치 정보 각각을 XOR 연산할 수 있다. 여기서, 기 설정된 다각형의 위치 정보는 도 3에서 설명된 바와 같이, 법선 벡터 값에 대응되는 삼각형 대표 값일 수 있다.Meanwhile, the
즉, 제1모드에서 예측 부호화기(403)는 법선 벡터의 방향성을 나타내는 값과 삼각형 대표 값이 모두 포함된 전체 비트를 한번에 XOR 연산하며, 제2모드에서 예측 부호화기(403)는 법선 벡터의 방향성을 나타내는 값과 삼각형 대표 값을 나누어 XOR연산한다. 양자화를 위해 분할면을 분할한 횟수 n의 값이 제2모드를 사용하여 예측 부호화함이 바람직하다. That is, in the first mode, the
제2모드에 따라 예측 부호화가 수행된 경우 엔트로피 부호화기(405)는 2개의 예측 부호화 값을 각각 엔트로피 부호화한다.When prediction encoding is performed according to the second mode, the
하기의 [표 1]은 본 발명에 따른 인코딩 효율을 나타낸다. [표 1]은 다수의 3차원 메쉬 모델에서 n이 3일 경우에 하나의 법선벡터를 표현하기 위해 필요한 비트를 나타내는 표이다. [표 1]에 나타난 바와 같이, 본 발명에 따르면, 3DMC 대비 약 2비트 정도가 감소하여 인코딩 효율이 향상함을 알 수 있다.Table 1 below shows the encoding efficiency according to the present invention. [Table 1] is a table representing bits required to express one normal vector when n is 3 in many 3D mesh models. As shown in Table 1, it can be seen that according to the present invention, encoding efficiency is improved by reducing about 2 bits compared to 3DMC.
도 5는 본 발명의 일실시예에 따른 3차원 컨텐츠 데이터 디코딩 방법을 설명하기 위한 도면으로서, 도 5에서는 본 발명에 따라서 인코딩된 법선 벡터를 디코딩하는 방법이 일실시예로서 설명된다.FIG. 5 is a diagram illustrating a 3D content data decoding method according to an embodiment of the present invention. In FIG. 5, a method of decoding a normal vector encoded according to the present invention is described as an embodiment.
도 5에 도시된 바와 같이, 본 발명에 따른 3차원 컨텐츠 데이터 디코딩 방법은 단계 S501로부터 시작된다.As shown in FIG. 5, the 3D content data decoding method according to the present invention starts from step S501.
단계 S501에서 3차원 컨텐츠 데이터 디코딩 장치는 인코딩된, 3차원 메쉬 데이터의 법선 벡터 값을 수신, 즉 입력받는다. 여기서, 인코딩된 법선 벡터 값은 본 발명에 따른 인코딩 방법에 의해 인코딩된 법선 벡터 값으로서, 3차원 컨텐츠 데이터 디코딩 장치는 3차원 컨텐츠 데이터 인코딩 장치로부터 인코딩된 법선 벡터 값을 입력받을 수 있다.In operation S501, the 3D content data decoding apparatus receives, that is, receives a normal vector value of the encoded 3D mesh data. Here, the encoded normal vector value is a normal vector value encoded by the encoding method according to the present invention, and the 3D content data decoding apparatus may receive an encoded normal vector value from the 3D content data encoding apparatus.
단계 S503에서 3차원 컨텐츠 데이터 디코딩 장치는 양자화된 법선 벡터 값의 XOR 연산에 따른 예측 부호화 정보가 포함된 인코딩 정보를 입력받는다. 인코딩된 법선 벡터 값 및 인코딩 정보는 도 4에서 설명된 3차원 컨텐츠 데이터 인코딩 장치로부터 제공될 수 있다. 법선 벡터의 인코딩 방법에 대한 정보가 디코딩 장치로 제공됨으로써 디코딩 장치는 디코딩을 수행할 수 있다.In operation S503, the 3D content data decoding apparatus receives encoding information including prediction encoding information according to an XOR operation of a quantized normal vector value. The encoded normal vector value and encoding information may be provided from the 3D content data encoding apparatus described in FIG. 4. The information on the method of encoding the normal vector is provided to the decoding apparatus so that the decoding apparatus can perform decoding.
인코딩 정보는 예를 들어, 법선 벡터 값에 대한 현재 양자화 결과 값(Qi)와, 이전 양자화 결과 값(Qi-1)의 XOR 연산에 따른 예측 부호화 정보를 포함할 수 있다. 또한 인코딩 정보는 전술된 제1모드 및 제2모드에 대한 정보를 포함할 수 있다. 여기서, i는 3차원 메쉬를 구성하는 분할면에 대한 인덱스 값을 나타낸다.The encoding information may include, for example, the current quantization result value Q i of the normal vector value and the prediction encoding information according to the XOR operation of the previous quantization result value Q i-1 . In addition, the encoding information may include information about the first mode and the second mode described above. Here, i denotes an index value for the split plane constituting the 3D mesh.
단계 S505에서 3차원 컨텐츠 데이터 디코딩 장치는 인코딩 정보를 이용하여 인코딩된 법선 벡터 값을 디코딩한다. 즉, 3차원 컨텐츠 데이터 디코딩 장치는 인코딩 정보를 이용하여 법선 벡터가 XOR 연산에 의해 예측 부호화됐음을 확인할 수 있으며, 인코딩 정보를 이용하여 변환 정보를 디코딩할 수 있다.
In operation S505, the 3D content data decoding apparatus decodes the encoded normal vector value using the encoding information. That is, the 3D content data decoding apparatus may confirm that the normal vector is predictively encoded by the XOR operation using encoding information, and may decode the transform information using the encoding information.
한편, 3차원 메쉬 데이터가 인코딩되는 경우, 법선 벡터뿐만 아니라 3차원 메쉬 모델의 코디네이트 역시 인코딩된다. 이하에서는 3차원 메쉬 모델의 코디네이트(coordinate)를 인코딩하는 방법 및 장치를 설명하기로 한다. On the other hand, when the 3D mesh data is encoded, not only normal vectors but also coordinates of the 3D mesh model are encoded. Hereinafter, a method and apparatus for encoding a coordinate of a 3D mesh model will be described.
도 6은 3차원 컨텐츠에 대한 텍스처 표현을 설명하기 위한 도면이다. 도 6에서는 현재 X3D(Extensible 3D)에서 표준으로 제정된 VRML(Virtual Reality Modeling Language)에 따른 텍스쳐 표현 방법이 예로서 설명된다.6 is a diagram for describing a texture representation of 3D content. In FIG. 6, a texture representation method according to Virtual Reality Modeling Language (VRML), which is currently standardized in Extensible 3D (X3D), is described as an example.
텍스쳐 코디네이트(texture coordinate)는 3차원 메쉬 모델의 텍스쳐에 대한 코디네이트로서, 좌표값과 인덱스 값의 조합으로 표현될 수 있다. 2개의 정점에 대한 좌표 값과 1개의 인덱스 값 하나가 하나의 분할면, 즉 패치를 구성한다. 도 6에는 제1 내지 제4패치에 따른 좌표 값과 인덱스가 도시되어 있다. 즉, 도 6에서 'point'는 제1 내지 제4패치에 대한 좌표 값을 나타내며, 'textCoordindex'는 제1 내지 제4패치에 대한 좌표 값을 인덱스에 대응되는 순서로 나타내고 있다. 예를 들어, 제1패치의 좌표는 'textCoordindex'에 (0 1 2)로 표현되며, 여기서 (0 1 2)는 ((u0 v0) (u1 v1) (u2 v2))를 나타낸다.Texture coordinates are coordinates for the texture of the 3D mesh model and may be expressed as a combination of coordinate values and index values. Coordinate values for one of the two vertices and one index value constitute one division plane, that is, a patch. 6 illustrates the coordinate values and indexes according to the first to fourth patches. That is, in FIG. 6, 'point' indicates coordinate values for the first to fourth patches, and 'textCoordindex' indicates coordinate values for the first to fourth patches in the order corresponding to the index. For example, the coordinates of the first patch are represented by (0 1 2) in 'textCoordindex', where (0 1 2) is ((u 0 v 0 ) (u 1 v 1 ) (u 2 v 2 )) Indicates.
도 6에서 설명되는 텍스쳐 표현 방법에서는 다수의 정보가 중복되어 표현됨을 알 수 있다. 즉, 'textCoordindex'에서 제1패치 및 제4패치의 경우 제1좌표와 제2좌표가 중복된다. 또한 제1패치와 제2패치의 경우 다른 순서의 순열(permutation) 로 표현될 뿐, 좌표 값이 중복된다. 결국 종래의 텍스쳐 표현의 경우, 중복되는 정보만큼 정보량이 증가하는 문제가 있다.In the texture representation method illustrated in FIG. 6, it can be seen that a plurality of pieces of information are overlapped. That is, in the 'textCoordindex', in the case of the first patch and the fourth patch, the first coordinate and the second coordinate overlap. In addition, in the case of the first patch and the second patch, only coordinates of different orders are represented, and coordinate values overlap. As a result, in the conventional texture representation, there is a problem in that the amount of information increases by overlapping information.
한편, 도 6에서는 텍스쳐 코디네이트에 대해서만 설명되었으나 3차원 객체에 대한 3차원 메쉬 모델을 구성하는 분할면에 대한 코디네이트 역시 좌표 값과 인덱스 값의 조합으로 표현되며, 텍스쳐 코디네이트와 같이 중복되는 정보만큼 정보량이 증가하는 문제가 있다.
Meanwhile, in FIG. 6, only the texture coordination has been described, but the coordinates of the split plane forming the three-dimensional mesh model of the three-dimensional object are also represented by a combination of coordinate values and index values, and the amount of information overlaps with the information such as texture coordination. There is an increasing problem.
도 7은 본 발명의 다른 실시예에 따른 3차원 컨텐츠 데이터 인코딩 방법 및 장치를 설명하기 위한 도면으로서, 도 7에서는 3차원 메쉬 모델의 코디네이트를 인코딩하는 방법 및 장치가 일실시예로서 설명된다.FIG. 7 illustrates a method and apparatus for encoding 3D content data according to another embodiment of the present invention. In FIG. 7, a method and apparatus for encoding a coordinate of a 3D mesh model are described as an embodiment.
본 발명에 따른 3차원 컨텐츠 데이터 인코딩 방법은 3차원 메쉬 모델에 대한 메쉬 데이터를 입력받는다. 그리고 입력된 메쉬 데이터를 이용하여, 3차원 메쉬 모델의 분할면 크기를 분석한다. 크기가 동일한 분할면의 개수에 따라, 분할면 각각의 코디네이트에 대응되는 변환 정보를 생성한다. In the 3D content data encoding method according to the present invention, mesh data for a 3D mesh model is received. Then, using the input mesh data, the dividing plane size of the 3D mesh model is analyzed. According to the number of dividing surfaces having the same size, transform information corresponding to the coordinates of each dividing surface is generated.
본 발명에 따른 3차원 컨텐츠 데이터 인코딩 방법은 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면의 개수를 분석한다. 그리고 크기가 동일한 분할면의 개수에 따라 분할면 각각의 좌표 값을 기 설정된 변환 정보로 변환한다. 예를 들어, 3차원 메쉬 모델의 분할면이 직각 삼각형으로 크기가 모두 동일할 경우, 분할면 전부에 대한 좌표 값을 도 6에서 설명된 방법으로 표현할 필요가 없다. 크기가 모두 동일하기 때문에 하나의 좌표 값 및 크기를 나타내는 정보를 이용하여 분할면에 대한 좌표 값을 표현할 수 있다. In the 3D content data encoding method according to the present invention, the number of divided surfaces having the same size among the divided surfaces of the 3D mesh model is analyzed. The coordinate values of each of the divided surfaces are converted into preset conversion information according to the number of divided surfaces having the same size. For example, when the dividing planes of the 3D mesh model are all the same size as right triangles, the coordinate values of all the dividing planes need not be represented by the method described with reference to FIG. 6. Since the sizes are all the same, one coordinate value and information representing the size may be used to express coordinate values for the split plane.
따라서 본 발명에 따르면, 분할면에 대한 좌표 값을 모두 표현하지 않을 수 있으므로 정보량이 감소하고 결국 인코딩 효율이 상승할 수 있다. 하나의 좌표 값 및 크기를 나타내는 정보를 이용하여 분할면에 대한 좌표 값을 표현하는 방법은 도 7 내지 13에서 보다 자세히 후술된다.Therefore, according to the present invention, since the coordinate values for the divided surfaces may not be represented, the amount of information may be reduced and the encoding efficiency may increase. A method of expressing coordinate values for the split plane using one coordinate value and information indicating a size will be described later in more detail with reference to FIGS. 7 to 13.
도 7에 도시된 바와 같이, 본 발명에 따른 3차원 컨텐츠 데이터 인코딩 장치는 입력부(701), 분석부(703) 및 변환 정보 생성부(705)를 포함한다. 변환 정보 생성부(705)는 제1생성부(707) 및 제2생성부(709)를 포함한다. As shown in FIG. 7, the apparatus for encoding 3D content data according to the present invention includes an
입력부(701)는 3차원 메쉬 모델에 대한 메쉬 데이터를 입력받는다.The
분석부(703)는 메쉬 데이터를 이용하여, 3차원 메쉬 모델의 분할면 크기를 분석한다. 분석부(703)는 3차원 메쉬 모델의 분할면 크기 중 크기가 동일한 분할면의 개수를 분석하고, 크기가 동일한 분할면을 포함하는 그룹의 개수(m)가 기 설정된 값(T) 이상인지 여부를 판단할 수 있다.The
여기서, T는 하기의 수학식 2를 만족하는 값일 수 있다. X, Y는 좌표(u, v)에 대한 비트 수이며, n은 3차원 메쉬 모델의 분할면 전체 개수를 나타낸다. 또한 m<<n이 만족되는 것이 바람직하다.Here, T may be a
변환 정보 생성부(705)는 크기가 동일한 분할면의 개수에 따라, 3차원 메쉬 모델의 코디네이트에 대응되는 변환 정보를 생성한다. 제1생성부(707)는 크기가 동일한 분할면을 포함하는 그룹의 개수(m)가 기 설정된 값(T) 이상인 경우, 코디네이트에 대응되는 변환정보를 생성한다. 제2생성부(709)는 크기가 동일한 분할면을 포함하는 그룹의 개수(m)가 기 설정된 값(T) 이하인 경우 코디네이트에 대응되는 변환정보를 생성한다.The transformation
변환 정보 생성부(705)에서 생성된 변환 정보는 기 설정된 인코딩 방법에 따라 인코딩될 수 있다.The conversion information generated by the
한편, 시스템 설계에 따라 제1생성부(707) 및 제2생성부(709)는 별도로 구성될 수 있으며, 제1 및 제2생성부(707, 709) 각각은 입력부(701) 및 분석부(703)를 포함할 수 있다.
According to the system design, the
도 8 및 도 9는 도 7의 제1생성부(707)를 보다 구체적으로 설명하기 위한 도면으로서, 도 8 및 도 9에서는 텍스쳐 코디네이트에 대한 표현 방법이 일실시예로서 설명된다. 8 and 9 illustrate the
도 8에 도시된 텍스쳐 패치는 동일한 크기를 포함하는 다수의 그룹으로 분류될 수 있으며, 동일한 크기를 포함하는 그룹의 개수가 기 설정된 값 이상일 경우의 텍스쳐 패치를 나타낸다. 다수의 그룹의 수가 기 설정된 값 이상일 경우 제1생성부(707)는 텍스쳐 코디네이트에 대응되는 변환정보를 생성한다. 이하에서는 제1생성부(707)가 3개의 텍스쳐 코디네이트에 대한 변환 정보를 생성하는 방법을 도 9를 참조하여 일실시예로서 설명하기로 한다.The texture patches illustrated in FIG. 8 may be classified into a plurality of groups including the same size, and represent texture patches when the number of groups including the same size is equal to or larger than a preset value. When the number of groups is greater than or equal to a predetermined value, the
도 9에 도시된 바와 같이, 제1패치(T1, T2, T3), 제2패치(T4, T1, T3) 제3패치(T5, T7, T8) 각각의 크기는 직각 삼각형으로 동일하며 좌표값에 차이가 있다. 여기서, 'width' 및 'height'는 도 6의 u, v 좌표에 대응한다. 제1생성부(707)는 제1 내지 제3패치를 포함하는 그룹에 대한 인덱스 정보를 생성한다. 이 때, 제1생성부(707)는 그룹에 포함된 패치 중 하나를 대표로 선택하여, 'shape list'에 인덱스 정보(shape list)를 부여할 수 있는데, 도 9에서는 일실시예로서 제1패치가 선택되었다. 그리고 인덱스 정보는 분석부(703)에 의해 생성될 수 있는데, 분석부(703)가 패치 크기를 분석함과 동시에 인덱스 정보를 생성할 수 있다.As shown in FIG. 9, the sizes of each of the first patches T1, T2, and T3 and the second patches T4, T1, and T3, the third patches T5, T7, and T8, are the same as the right triangle and have coordinate values. There is a difference. Here, 'width' and 'height' correspond to u and v coordinates of FIG. 6. The
그리고 제1생성부(707)는 그룹에 대한 인덱스 정보(SI), 그룹에 포함된 패치 각각에 대한 내각 정보(TC), 방향 정보(OT), 순열 정보(PI)를 'patch list'에 생성한다. 내각 정보는 패치 별로 최대 내각의 좌표를 나타내는 정보이며, 방향 정보는 최대 내각의 좌표를 기준으로 하는 패치의 방향을 나타내는 정보이다. 그리고 순열 정보는 최대 내각의 좌표를 기준으로 하는 패치의 순열을 나타내는 정보이다.The
방향 정보는 제1박스(901)에 도시된 바와 같이, 패치가 최대 내각의 좌표를 기준으로 X, Y 평면의 1 내지 4사분면에 위치하는지 여부를 0 내지 3으로 나타낸다. 순열 정보는 제2박스(902)에 도시된 바와 같이, 패치의 좌표 순서를 나타내는 정보이다. 삼각형의 경우 총 6가지의 좌표 순서가 있을 수 있으며, 좌표 순서를 0 내지 5로 나타낸다. 순열 정보에 따라 동일 좌표의 패치라도 색깔이 변할 수 있다.Direction information, as shown in the
도 9에서, 제1패치의 경우, 인덱스 정보는 '0'이며, 최대 내각 90도를 갖는 좌표는 T1이다. 그리고 제1패치의 방향은 X,Y 평면에서 1사분면 방향이며, 제1패치의 좌표 순서는 제2박스(802)의 0에 대응한다. 따라서 제1패치의 텍스쳐 코디네이트에 대응되는 변환 정보는 (0, T2, 0, 0)이 됨을 알 수 있다.In FIG. 9, in the case of the first patch, index information is '0', and a coordinate having a maximum angle of 90 degrees is T1. The direction of the first patch is one quadrant in the X and Y planes, and the coordinate order of the first patch corresponds to zero of the second box 802. Accordingly, it can be seen that the conversion information corresponding to the texture coordination of the first patch is (0, T2, 0, 0).
그리고 제2패치의 경우, 인덱스 정보는 '0'이며, 최대 내각 90도를 갖는 좌표는 T4이다. 그리고 제2패치의 방향은 X,Y 평면에서 3사분면 방향이며, 제2패치의 좌표 순서는 제2박스(902)의 3에 대응한다. 따라서 제2패치의 텍스쳐 코디네이트에 대응되는 변환 정보는 (0, T4, 3, 3)이 됨을 알 수 있다.In the case of the second patch, the index information is '0', and the coordinate having the maximum internal angle of 90 degrees is T4. The direction of the second patch is the three quadrant direction in the X and Y planes, and the coordinate order of the second patch corresponds to three of the
즉, 본 발명에 따르면, 코디네이트 표현 방법에 있어서 패치에 대한 좌표 값이 모두 필요하지 않으므로 정보량이 매우 감소함을 알 수 있으며, 인코딩 효율이 증가될 수 있다.That is, according to the present invention, since all coordinate values for the patch are not required in the coordinate expression method, it can be seen that the amount of information is greatly reduced, and the encoding efficiency can be increased.
전술된 인코딩 방법을 정리하면 다음과 같다.The above-described encoding method is summarized as follows.
제1생성부(707)는 분석부(703)의 분석 결과, 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이상인 경우, 그룹에 따라 인덱스 정보를 생성한다. 인덱스 정보에 대응되는 그룹에서, 분할면 별로 최대 내각의 좌표를 나타내는 내각 정보를 생성한다. 분할면 별로, 상기 최대 내각의 좌표를 기준으로 하는 방향 정보를 생성한다. 그리고 분할면 별로, 최대 내각의 좌표를 기준으로 하는 순열 정보를 생성한다.
As a result of the analysis of the
도 10은 도 9에서 설명된 변환 정보를 포함하는 비트스트림을 나타내는 도면이다.FIG. 10 is a diagram illustrating a bitstream including transformation information described in FIG. 9.
도 10에 도시된 바와 같이, 제1생성부(707)에 따른 비트 스트림은 제1부분(1001) 및 제2부분(1011)을 포함하며, 제1부분(1001)은 동일한 크기의 패치를 포함하는 그룹에 부여된 인덱스 정보를 포함한다. 전술된 바와 같이, 인덱스 정보는 동일한 크기의 패치 중 선택된 패치의 좌표 값에 부여될 수 있으며, 제1부분(1001)은 도 9에서 'shape list'에 대응되는 정보를 포함하는 부분이다. 제1부분(1001)은 구체적으로, 그룹을 나타내는 부분(1003), 선택된 패치를 나타내는 부분(1005), 패치의 좌표 값을 나타내는 부분(1007)을 포함한다. As shown in FIG. 10, the bit stream according to the
그리고 제2부분(1011)은 도 9에서 'patch list'에 대응되는 정보를 포함하는 부분이다. 즉, 제2부분(1011)은 소정 그룹에 포함되는 패치 정보를 나타내는 부분(1013), 소정 그룹에 포함되는 패치에 대한 인덱스 정보, 내각 정보, 방향 정보 및 순열 정보를 나타내는 부분(1015), 내각 정보에 대응되는 좌표 값을 나타내는 부분(1017)을 포함한다.
The
도 11 및 도 12는 도 7의 제2생성부(709)를 보다 구체적으로 설명하기 위한 도면으로서, 도 11 및 도 12에서는 텍스쳐 코디네이트에 대한 표현 방법이 일실시예로서 설명된다. 11 and 12 are diagrams for describing the
도 11에 도시된 텍스쳐 패치는 불규칙적인 크기의 패치로서, 동일한 패치를 포함하는 그룹의 개수가 기 설정된 값보다 작은 경우를 나타낸다. 동일한 패치를 포함하는 그룹의 수가 기 설정된 값 이하일 경우 제2생성부(709)는 텍스쳐 코디네이트에 대응되는 변환 정보를 생성한다. 이하에서는 제2생성부(709)가 삼각형의 9개 패치의 텍스쳐 코디네이트에 대한 변환 정보를 생성하는 방법을 도 12를 참조하여 일실시예로서 설명하기로 한다.The texture patch shown in FIG. 11 is a patch of irregular size, and represents a case where the number of groups including the same patch is smaller than a preset value. When the number of groups including the same patch is less than or equal to a preset value, the
도 12에서 제1박스(1201)는 9개의 패치를 나타내며, 제2박스(1203)는 본 발명에 따른 9개 패치의 연결 정보를 나타내는 바이너리 트리를 나타낸다. 제3박스(1205)는 바이너리 트리에 대한 좌표 값 및 연결 정보에 따른 비트 값을 나타내며, 제4박스(1207)는 제3박스(1205)에 나타낸 좌표 값 및 연결 정보에 따른 비트 값에 대한 데이터 스트림을 나타낸다.In FIG. 12, the
제2생성부(709)는 제1박스(1201)의 9개의 패치 중 기 설정된 패치를 선택한다. 9개의 패치는 삼각형 모양의 패치로서, 기 설정된 분할면은 2변 이하가 공유되는 분할면 중 하나일 수 있다. T1 내지 T9는 9개 패치의 좌표를 나타낸다.The
그리고 제2생성부(709)가 선택된 패치를 기준으로 9개 패치에 대한 연결 정보를 생성한다. 이 때, 제2생성부(709)는 제2 및 제3박스(1203, 1205)에 도시된 트리 형태를 이용하여 연결 정보를 생성할 수 있다. 여기서, 연결 정보는 선택된 패치의 변을 공유하는 공유 패치의 개수, 선택된 패치를 기준으로 하는 패치의 방향성일 수 있다. 그리고 제2생성부(709)는 공유 패치를 기 설정된 패치로 선택하여 트리를 확장할 수 있다. The
예를 들어, 연결정보는 기 설정된 패치의 변을 공유하는 패치의 개수가 2개인 경우 '11'로 표현되며, 공유하는 패치의 개수가 0인 경우 '00'으로 표현될 수 있다. 그리고 공유 패치의 개수가 1개인 경우 공유 패치가 오른쪽 방향에 위치하면 '01', 왼쪽 방향에 위치하면 '10'으로 표현될 수 있다. 그리고 공유하지 않는 좌표 값이 함께 표현될 수 있다. 공유 패치의 방향성은 선택된 패치에 따라 달라질 수 있다.For example, the connection information may be represented by '11' when the number of patches sharing the side of the preset patch is two, and by '00' when the number of shared patches is zero. When the number of shared patches is one, the shared patches may be represented as '01' when located in the right direction and '10' when located in the left direction. Coordinate values that are not shared may be represented together. The direction of the shared patch can vary depending on the patch selected.
도 12에서는 기 설정된 패치인 제2패치를 기준으로 9개 패치에 대한 연결 정보가 생성되는 경우가 일실시예로서 설명된다. 제2 및 제3박스(1203, 1205)에 도시된 바와 같이, 선택된 제2패치가 최상위에 존재하며, 나머지 패치가 트리 구조로 하위에 연결되어 있다. 제2패치에는 제1 및 제5패치가 연결되어 있다. 즉, 제1박스(1201)에 도시된 바와 같이, 제2패치의 변은 제1 및 제5패치가 공유하고 있다. 따라서 제2패치에 대한 연결 정보는 '11' 및 (T4, T2, T1)이 된다.12 illustrates a case in which connection information for nine patches is generated based on a second patch which is a preset patch. As shown in the second and
그리고 제1박스(1201)에 도시된 바와 같이, 제1패치에는 제4 및 제3패치가 연결되어 있으며, 제5패치에는 제8패치만이 연결되어 있다. 따라서, 제1패치에 대한 연결 정보는 '11' 및 (T3)으로 표현 될 수 있다. 그리고 제2패치에서 공유되지 않은 변을 맨 아래로 하여 제5패치는 제2패치의 좌측에 위치하므로, 제5패치에 대한 연결 정보는 '10' 및 (T7)로 표현될 수 있다. 제2박스(1203)와 같이, 트리가 확장되며 제3박스(1205)와 같은 연결 정보가 생성될 수 있다.As shown in the
그리고, 생성된 연결 정보는 제4박스(1207)와 같이, 데이터 스트림으로 나열될 수 있는데, 중복되는 좌표 정보가 포함되어 있음을 알 수 있다. 제2생성부(709)는 중복되는 좌표 정보를 좌표 정보보다 정보량이 적은 플래그 비트로 변환함으로써 중복되는 데이터량을 감소시킬 수 있다. 이 때, 중복되는 좌표 정보의 순서, 관계 등에 대한 정보가 플래그 비트로 추가될 수 있다.The generated connection information may be listed as a data stream like the
전술된 인코딩 방법을 정리하면 다음과 같다.The above-described encoding method is summarized as follows.
제2생성부(709)는 분석부(703)의 분석 결과, 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이하인 경우, 기 설정된 분할면을 선택한다. 선택된 분할면을 기준으로 상기 3차원 메쉬 모델의 분할면의 연결 정보를 생성한다. 연결 정보를 생성하는 제2생성부(709)는 보다 구체적으로 선택된 분할면의 변을 공유하는 공유 분할면의 개수를 판단한다. 선택된 분할면을 기준으로 공유 분할면의 방향성을 판단한다. 선택된 분할면의 좌표, 선택된 분할면과 공유하지 않는 공유 분할면의 좌표 및 판단 결과를 나타내는 연결 정보를 생성한다. 이 때, 3차원 메쉬 모델의 분할면은 삼각형 모양의 분할면이며, 기 설정된 분할면은 2변 이하가 공유되는 분할면 중 하나일 수 있다.
As a result of the analysis of the
도 13은 도 12에서 설명된 변환 정보를 포함하는 비트스트림을 나타내는 도면이다.FIG. 13 is a diagram illustrating a bitstream including transformation information described in FIG. 12.
도 10에 도시된 바와 같이, 제2생성부(709)에 따른 비트 스트림은 제1부분(1301) 및 제2부분(1311)을 포함한다. 제1부분(1301)은 도 12에서 설명된 변환 정보를 포함한다. 이 때, 제1부분(1301)은 서로 변을 공유하는 다수의 패치(Connected Component) 별로 변환정보를 포함하는 부분(1303)을 포함하며, 예컨대 도 12의 제1박스(1201)에 대응되는 변환 정보를 그룹 별로 포함할 수 있다. 그리고 제1부분(1301)은 변환 정보를 데이터 스트림 형태로 포함될 수 있다. As shown in FIG. 10, the bit stream according to the
그리고, 제2부분(1311)은 제1부분(1301)에 포함된 패치 리스트를 포함하는 부분(1313) 및 패치 리스트에 대응되는 패치의 순열 정보(1315)와 인덱스 정보(1317)를 포함할 수 있다.
The
도 14는 본 발명의 다른 실시예에 따른 3차원 컨텐츠 데이터 디코딩 방법을 설명하기 위한 도면으로서, 도 14에서는 본 발명에 따라서 인코딩된 코디네이트 데이터를 디코딩하는 방법이 일실시예로서 설명된다.FIG. 14 is a diagram illustrating a 3D content data decoding method according to another embodiment of the present invention. In FIG. 14, a method of decoding coordinate data encoded according to the present invention is described as an embodiment.
도 14에 도시된 바와 같이, 본 발명에 따른 3차원 컨텐츠 데이터 디코딩 방법은 단계 S1401로부터 시작된다.As shown in Fig. 14, the 3D content data decoding method according to the present invention starts from step S1401.
단계 S1401에서 3차원 컨텐츠 데이터 디코딩 장치는 인코딩된, 3차원 메쉬 모델의 코디네이트에 대한 변환 정보를 수신, 즉 입력받는다. In operation S1401, the 3D content data decoding apparatus receives, that is, receives transform information about the coordinate of the encoded 3D mesh model.
단계 S1403에서 3차원 컨텐츠 데이터 디코딩 장치는 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수와 기 설정 값과의 비교 결과에 따라, 코디네이트가 변환 정보로 변환되었음을 나타내는 인코딩 정보를 수신, 즉 입력받는다. 3차원 컨텐츠 데이터 디코딩 장치는 본 발명에 따른 3차원 컨텐츠 데이터 인코딩 장치로부터 인코딩된, 3차원 메쉬 모델의 코디네이트에 대한 변환 정보 및 인코딩 정보를 수신할 수 있다.In operation S1403, the apparatus for decoding 3D content data may include encoding information indicating that the coordinates have been converted into conversion information according to a result of comparing the number of groups including the same dividing plane among the dividing planes of the 3D mesh model with a preset value. Receive, that is, receive the input. The 3D content data decoding apparatus may receive the transform information and the encoding information for the coordinate of the 3D mesh model, encoded from the 3D content data encoding apparatus according to the present invention.
여기서, 변환 정보는 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이상인 경우에, 그룹에 따라 생성되는 인덱스 정보 인덱스 정보에 대응되는 그룹에서, 분할면 별로 최대 내각의 좌표를 나타내는 내각 정보, 분할면 별로, 최대 내각의 좌표를 기준으로 하는 방향 정보 및 분할면 별로, 최대 내각의 좌표를 기준으로 하는 순열 정보를 포함할 수 있다.Here, the transformation information is the maximum for each divided surface in the group corresponding to the index information index information generated according to the group when the number of groups including the divided surface having the same size among the divided surfaces of the 3D mesh model is greater than or equal to a preset value. Cabinet information indicating coordinates of the cabinet, direction information based on the coordinates of the maximum cabinet for each divided plane, and permutation information based on the coordinates of the maximum cabinet for each divided plane may be included.
또는 변환 정보는 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이하인 경우에, 기 설정된 분할면을 기준으로 생성되는 3차원 메쉬 모델의 분할면의 연결 정보를 포함할 수 있다.Alternatively, the transformation information may include connection information of the dividing plane of the 3D mesh model generated based on the preset dividing plane when the number of groups including the dividing plane having the same size among the dividing planes of the 3D mesh model is less than or equal to a preset value. It may include.
단계 S1405에서 3차원 컨텐츠 데이터 디코딩 장치는 인코딩 정보를 이용하여 변환 정보를 디코딩한다. 즉, 3차원 컨텐츠 데이터 디코딩 장치는 인코딩 정보를 이용하여 변환 정보가 3차원 메쉬 모델의 코디네이트에 대응되는 정보임을 확인할 수 있으며, 인코딩 정보를 이용하여 변환 정보를 디코딩할 수 있다.
In operation S1405, the 3D content data decoding apparatus decodes the transform information by using the encoding information. That is, the 3D content data decoding apparatus may identify that the transform information corresponds to the coordinate of the 3D mesh model by using the encoding information, and may decode the transform information by using the encoding information.
한편, 전술한 바와 같은 본 발명에 따른 3차원 컨텐츠 데이터를 인코딩 및 디코딩하기 위한 인코딩 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.Meanwhile, the encoding method for encoding and decoding the 3D content data according to the present invention as described above can be created by a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. And the recording medium includes all types of recording media (intangible medium such as a carrier wave as well as tangible media such as CD and DVD) readable by a computer.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
Although the present invention has been described by means of limited embodiments and drawings, the present invention is not limited thereto and is intended to be equivalent to the technical idea and claims of the present invention by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible.
Claims (16)
상기 양자화 결과 값을 이용하여 XOR 연산을 수행하는 단계; 및
상기 XOR 연산 결과 값을 이용하여 엔트로피 부호화를 수행하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
Performing quantization on normal vector values of the three-dimensional mesh data;
Performing an XOR operation using the quantization result value; And
Performing entropy encoding using the result of the XOR operation
3D content data encoding method comprising a.
상기 XOR 연산을 수행하는 단계는
현재 양자화 결과 값(Qi)과, 이전 양자화 결과 값(Qi-1)을 XOR 연산하는
3차원 컨텐츠 데이터 인코딩 방법.
(여기서, i는 상기 3차원 메쉬를 구성하는 분할면에 대한 인덱스 값)
The method of claim 1,
The step of performing the XOR operation
XOR operation of the current quantization result value (Q i ) and the previous quantization result value (Q i-1 )
3D content data encoding method.
(Where i is an index value for a split plane constituting the 3D mesh)
상기 XOR 연산을 수행하는 단계는
상기 양자화 결과 값 중, 상기 법선 벡터에 대한 방향성 정보를 XOR 연산하는 단계; 및
상기 양자화 결과 값 중, 상기 분할면의 추가 분할에 따른 기 설정된 다각형의 위치 정보를 XOR 연산하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 2,
The step of performing the XOR operation
Performing XOR operation on directional information of the normal vector among the quantization result values; And
Performing XOR operation on position information of a preset polygon according to additional division of the division plane among the quantization result values
3D content data encoding method comprising a.
양자화된 법선 벡터 값의 XOR 연산에 따른 예측 부호화 정보가 포함된 인코딩 정보를 입력받는 단계; 및
상기 인코딩 정보를 이용하여 상기 인코딩된 법선 벡터 값을 디코딩하는 단계
를 포함하는 3차원 컨텐츠 데이터 디코딩 방법.
Receiving a normal vector value of the encoded three-dimensional mesh data;
Receiving encoding information including prediction encoding information according to an XOR operation of a quantized normal vector value; And
Decoding the encoded normal vector value using the encoding information
3D content data decoding method comprising a.
상기 XOR 연산은
상기 법선 벡터 값에 대한 현재 양자화 결과 값(Qi)와, 이전 양자화 결과 값(Qi-1)의 XOR 연산인
3차원 컨텐츠 데이터 디코딩 방법.
(여기서, i는 상기 3차원 메쉬를 구성하는 분할면에 대한 인덱스 값)
The method of claim 4, wherein
The XOR operation
XOR operation of the current quantization result value Q i and the previous quantization result value Q i-1 with respect to the normal vector value
3D content data decoding method.
(Where i is an index value for a split plane constituting the 3D mesh)
상기 메쉬 데이터를 이용하여, 상기 3차원 메쉬 모델의 분할면 크기를 분석하는 단계; 및
크기가 동일한 분할면의 개수에 따라, 상기 3차원 메쉬 모델의 코디네이트에 대응되는 변환 정보를 생성하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
Receiving mesh data for a 3D mesh model;
Analyzing the size of the split plane of the three-dimensional mesh model using the mesh data; And
Generating transform information corresponding to coordinates of the 3D mesh model according to the number of dividing surfaces having the same size.
3D content data encoding method comprising a.
상기 변환 정보를 생성하는 단계는
상기 분석 결과, 상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이상인 경우, 상기 그룹에 따라 인덱스 정보를 생성하는 단계;
상기 인덱스 정보에 대응되는 그룹에서, 분할면 별로 최대 내각의 좌표를 나타내는 내각 정보를 생성하는 단계;
상기 분할면 별로, 상기 최대 내각의 좌표를 기준으로 하는 방향 정보를 생성하는 단계; 및
상기 분할면 별로, 상기 최대 내각의 좌표를 기준으로 하는 순열(Permutation) 정보를 생성하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 6,
Generating the conversion information
Generating index information according to the group when the number of groups including the dividing planes having the same size among the dividing planes of the three-dimensional mesh model is equal to or larger than a preset value;
Generating cabinet information indicative of the coordinates of the maximum cabinet for each divided surface in the group corresponding to the index information;
Generating direction information based on the coordinates of the maximum cabinet for each of the divided surfaces; And
Generating permutation information on the basis of the coordinates of the maximum cabinet for each partition;
3D content data encoding method comprising a.
상기 3차원 메쉬 모델의 분할면은 직각 삼각형 모양의 분할면인
3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 7, wherein
The split plane of the 3D mesh model is a split plane of right triangle shape.
3D content data encoding method.
상기 변환 정보를 생성하는 단계는
상기 분석 결과, 상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이하인 경우, 기 설정된 분할면을 선택하는 단계; 및
상기 선택된 분할면을 기준으로 상기 3차원 메쉬 모델의 분할면의 연결 정보를 생성하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 6,
Generating the conversion information
Selecting a preset divided surface when the number of groups including the divided surface having the same size among the divided surfaces of the 3D mesh model is less than or equal to a preset value; And
Generating connection information of a split plane of the 3D mesh model based on the selected split plane
3D content data encoding method comprising a.
상기 3차원 메쉬 모델의 분할면은 삼각형 모양의 분할면이며,
상기 기 설정된 분할면은 2변 이하가 공유되는 분할면 중 하나인
3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 9,
The dividing plane of the three-dimensional mesh model is a dividing plane of a triangular shape,
The preset divided plane is one of divided planes in which two sides or less are shared.
3D content data encoding method.
상기 연결 정보를 생성하는 단계는
상기 선택된 분할면의 변을 공유하는 제1공유 분할면의 개수를 판단하는 단계;
상기 선택된 분할면을 기준으로 상기 제1공유 분할면의 방향성을 판단하는 단계; 및
상기 선택된 분할면의 좌표, 상기 선택된 분할면과 공유하지 않는 상기 제1공유 분할면의 좌표 및 상기 판단 결과를 나타내는 상기 연결 정보를 생성하는 단계
를 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 10,
Generating the connection information
Determining a number of first shared dividing planes that share sides of the selected dividing plane;
Determining a direction of the first shared partition surface based on the selected partition surface; And
Generating the connection information indicating the coordinates of the selected divided plane, the coordinates of the first shared plane not shared with the selected divided plane, and the determination result.
3D content data encoding method comprising a.
상기 연결 정보 중 중복되는 좌표 정보를 기 설정된 비트의 플래그 정보로 변환하는 단계
를 더 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 10,
Converting overlapping coordinate information of the connection information into flag information of a predetermined bit;
3D content data encoding method further comprising.
상기 변환 정보를 인코딩하는 단계
를 더 포함하는 3차원 컨텐츠 데이터 인코딩 방법.
The method of claim 8 or 12,
Encoding the transformation information
3D content data encoding method further comprising.
상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수와 기 설정 값과의 비교 결과에 따라, 상기 코디네이트가 상기 변환 정보로 변환되었음을 나타내는 인코딩 정보를 입력받는 단계; 및
상기 인코딩 정보를 이용하여 상기 변환 정보를 디코딩하는 단계
를 포함하는 3차원 컨텐츠 데이터 디코딩 방법.
Receiving transformation information about the coordinates of the encoded 3D mesh model
Receiving encoding information indicating that the coordination has been converted into the conversion information according to a result of comparing the number of groups including the same dividing plane among the dividing planes of the 3D mesh model with a preset value; And
Decoding the transform information using the encoding information.
3D content data decoding method comprising a.
상기 변환 정보는
상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이상인 경우, 상기 그룹에 따라 생성되는 인덱스 정보;
상기 인덱스 정보에 대응되는 그룹에서, 분할면 별로 최대 내각의 좌표를 나타내는 내각 정보;
상기 분할면 별로, 상기 최대 내각의 좌표를 기준으로 하는 방향 정보; 및
상기 분할면 별로, 상기 최대 내각의 좌표를 기준으로 하는 순열 정보
를 포함하는 3차원 컨텐츠 데이터 디코딩 방법.
The method of claim 14,
The conversion information is
Index information generated according to the group when the number of groups including the divided planes having the same size among the divided planes of the 3D mesh model is greater than or equal to a preset value;
Cabinet information indicating coordinates of the maximum cabinet for each divided plane in the group corresponding to the index information;
Direction information based on the coordinates of the maximum cabinet for each of the divided surfaces; And
Permutation information based on the coordinates of the maximum cabinet for each of the divided surfaces
3D content data decoding method comprising a.
상기 변환 정보는
상기 3차원 메쉬 모델의 분할면 중 크기가 동일한 분할면을 포함하는 그룹의 수가 기 설정값 이하인 경우, 기 설정된 분할면을 기준으로 생성되는 상기 3차원 메쉬 모델의 분할면의 연결 정보
를 포함하는 3차원 컨텐츠 데이터 디코딩 방법.
The method of claim 14,
The conversion information is
Connection information of the split plane of the 3D mesh model generated based on the preset split plane when the number of groups including the split plane having the same size among the split planes of the 3D mesh model is less than or equal to a preset value.
3D content data decoding method comprising a.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20090032571 | 2009-04-15 | ||
KR1020090032571 | 2009-04-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100114468A true KR20100114468A (en) | 2010-10-25 |
KR101211436B1 KR101211436B1 (en) | 2012-12-12 |
Family
ID=43133656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100034199A KR101211436B1 (en) | 2009-04-15 | 2010-04-14 | Method and apparatus for encoding/decoding 3d contents data |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101211436B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102625126A (en) * | 2012-03-22 | 2012-08-01 | 北京工业大学 | Prediction-based three-dimensional mesh coding method |
WO2024071283A1 (en) * | 2022-09-30 | 2024-04-04 | ソニーグループ株式会社 | Information processing device and method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3694999B2 (en) * | 1996-08-07 | 2005-09-14 | 富士ゼロックス株式会社 | Image encoding apparatus, image decoding apparatus, and methods thereof |
JP4218800B2 (en) | 2003-09-05 | 2009-02-04 | 株式会社リコー | Data compression apparatus, data compression method, data expansion apparatus, data expansion method, n-dimensional shape model processing apparatus, program, and recording medium |
-
2010
- 2010-04-14 KR KR1020100034199A patent/KR101211436B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102625126A (en) * | 2012-03-22 | 2012-08-01 | 北京工业大学 | Prediction-based three-dimensional mesh coding method |
WO2024071283A1 (en) * | 2022-09-30 | 2024-04-04 | ソニーグループ株式会社 | Information processing device and method |
Also Published As
Publication number | Publication date |
---|---|
KR101211436B1 (en) | 2012-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101654777B1 (en) | Apparatus and method for scalable encoding 3d mesh, and apparatus and method for scalable decoding 3d mesh | |
JP4302257B2 (en) | Progressive 3D mesh information encoding / decoding method and apparatus | |
JP2016511457A (en) | Surface codec with reprojection onto depth map | |
JP5033261B2 (en) | Low-complexity three-dimensional mesh compression apparatus and method using shared vertex information | |
KR20180122947A (en) | Method and apparatus to encode and decode two-dimension point clouds | |
JP2019521417A (en) | Method of encoding point cloud representing a scene, encoder system, and non-transitory computer readable recording medium storing program | |
US9607434B2 (en) | Apparatus and method for encoding three-dimensional (3D) mesh, and apparatus and method for decoding 3D mesh | |
JP2017126890A (en) | Encoder and control method therefor | |
KR100927601B1 (en) | Method and apparatus for encoding / decoding of 3D mesh information | |
KR101048368B1 (en) | Apparatus and method for encoding 3D mesh model through connection information analysis | |
KR102014309B1 (en) | Terminable spatial tree-based position coding and decoding | |
US20230125529A1 (en) | Point cloud decoding device, point cloud decoding method, and program | |
KR20140096298A (en) | Position coding based on spatial tree with duplicate points | |
KR20200007734A (en) | 3d point cloud data encoding/decoding method and apparatus | |
KR20100114467A (en) | Method and apparatus for encoding/decoding 3d contents data | |
KR101211436B1 (en) | Method and apparatus for encoding/decoding 3d contents data | |
WO2019199513A1 (en) | A method and apparatus for encoding and decoding metadata associated with patched projection of point clouds | |
KR20200007733A (en) | Encoding/decoding method and apparatus for efficient compression of point cloud coding(pcc) data | |
JP4037875B2 (en) | Computer graphics data encoding device, decoding device, encoding method, and decoding method | |
Kim et al. | Multiresolution random accessible mesh compression | |
CN113906681B (en) | Point cloud data encoding and decoding method, system and storage medium | |
CN116261856A (en) | Point cloud layering method, decoder, encoder and storage medium | |
KR101086774B1 (en) | Method and apparatus for low complexity 3d mesh compression | |
WO2023172703A1 (en) | Geometry point cloud coding | |
WO2023028177A1 (en) | Attribute coding in geometry point cloud coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151030 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170926 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20181105 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190905 Year of fee payment: 8 |