WO2026005484A1 - 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 - Google Patents

메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법

Info

Publication number
WO2026005484A1
WO2026005484A1 PCT/KR2025/008910 KR2025008910W WO2026005484A1 WO 2026005484 A1 WO2026005484 A1 WO 2026005484A1 KR 2025008910 W KR2025008910 W KR 2025008910W WO 2026005484 A1 WO2026005484 A1 WO 2026005484A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
data
encoding
texture
mesh data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/008910
Other languages
English (en)
French (fr)
Inventor
박한제
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of WO2026005484A1 publication Critical patent/WO2026005484A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the embodiments provide a method for providing 3D content to provide users with various services such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), and autonomous driving services.
  • point cloud data and mesh data are collections of points in 3D space.
  • the sheer number of points in 3D space makes it difficult to generate point cloud or mesh data.
  • the technical problem according to the embodiments is to provide a device and method for efficiently transmitting and receiving mesh data in order to solve the problems described above.
  • the technical problem according to the embodiments is to provide a device and method for resolving latency and encoding/decoding complexity of mesh data.
  • the technical problem according to the embodiments is to provide a device and method for efficiently performing encoding and decoding of a displacement vector.
  • an encoding method may include a step of pre-processing input mesh data, a step of encoding a base mesh of the pre-processed mesh data, a step of encoding displacement data of the pre-processed mesh data, and a step of encoding attribute data of the pre-processed mesh data.
  • the pre-processing step may include, if the input mesh data includes a plurality of texture maps, a step of reconstructing the arrangement of the plurality of texture maps based on the similarity of the plurality of texture maps.
  • the reconstructing step may reconstruct the arrangement of the plurality of texture maps by changing the order of texture map index information of the plurality of texture maps.
  • the plurality of texture maps correspond to one frame
  • signaling information for each vertex within the frame may include index information of a texture map referenced by the corresponding vertex and position information within the referenced texture map.
  • the pre-processing step may further include a step of simplifying mesh data including the plurality of texture maps to generate simplified mesh data, a step of generating texture coordinates of each vertex of the simplified mesh data, and a step of performing fitting to make the simplified mesh data having the texture coordinates similar to the input mesh data after sub-dividing the simplified mesh data, thereby generating fitted sub-divided mesh data.
  • the texture coordinate generation step may include a step of performing segmentation by combining polygons or vertices having similar characteristics based on characteristics of polygons or vertices constituting the simplified mesh data, a step of generating mesh patches of a current frame based on a set of polygons or vertices segmented in the step, and a step of generating texture coordinates of each vertex of the simplified mesh data by packing the mesh patches of the current frame onto a 2D image based on a mesh patch packing result of a previous frame in which mesh patch packing has been completed.
  • the packing step may include a step of checking whether there is a mesh patch matching a current mesh patch of a current frame among mesh patches of the previous frame, and, if it is confirmed in the step of checking that the matching mesh patch is in the previous frame, a step of determining a mapping position of the current mesh patch on a 2D image based on a mapping position of a matched mesh patch in the previous frame, and a step of packing the current mesh patch at the determined mapping position on the 2D image.
  • the mesh patch matching verification step may determine that a mesh patch matches the current mesh patch if, among the mesh patches of the previous frame, the direction of the current mesh patch is the same and the number of polygons and/or vertices constituting the mesh patch is similar.
  • the step of encoding the attribute data may regenerate texture coordinates based on the texture coordinates of each vertex of the simplified mesh data and the texture coordinates of each vertex of the input mesh data to perform video encoding.
  • the encoding device includes a memory and at least one processor connected to the memory, wherein the at least one processor can be configured to pre-process input mesh data, encode a base mesh of the pre-processed mesh data, encode displacement data of the pre-processed mesh data, and encode attribute data of the pre-processed mesh data.
  • the at least one processor may, if the input mesh data includes a plurality of texture maps, reconstruct the arrangement of the plurality of texture maps based on the similarity of the plurality of texture maps.
  • the at least one processor may simplify mesh data including the plurality of texture maps to generate simplified mesh data, generate texture coordinates of each vertex of the simplified mesh data, and perform fitting to make the simplified mesh data similar to the input mesh data by subdividing the simplified mesh data having the texture coordinates.
  • the at least one processor may perform segmentation by combining polygons or vertices having similar characteristics based on characteristics of polygons or vertices constituting the simplified mesh data, generate mesh patches of the current frame based on a set of polygons or vertices segmented in the step, and pack the mesh patches of the current frame onto a 2D image based on a mesh patch packing result of a previous frame in which mesh patch packing has been completed, thereby generating texture coordinates of each vertex of the simplified mesh data.
  • a computer-readable storage medium can store a bitstream generated by the encoding method.
  • a transmission method may include: obtaining a bitstream for mesh data; generating the bitstream based on the steps of: pre-processing input original mesh data; encoding a base mesh of the pre-processed mesh data; encoding displacement data of the pre-processed mesh data; and encoding attribute data of the pre-processed mesh data; and transmitting data including the bitstream.
  • the mesh data transmission method, mesh data transmission device, mesh data reception method, and mesh data reception device can provide a quality 3D service.
  • the mesh data transmission method, mesh data transmission device, mesh data reception method, and mesh data reception device can achieve various video codec methods.
  • the mesh data transmission method, mesh data transmission device, mesh data reception method, and mesh data reception device can provide general-purpose 3D content such as autonomous driving services.
  • the mesh data transmission method and mesh data transmission device can regenerate a texture map with high inter-frame image correlation by reflecting image similarity between frames when generating texture coordinates of a simplified mesh. This can improve the compression performance of the dynamic mesh of V-Mesh, and in particular, can improve the compression performance of the texture map video of the mesh.
  • Figures 1(a) and 1(b) are diagrams showing examples of an encoder and a decoder according to embodiments.
  • FIG. 2 illustrates a system for providing dynamic mesh content according to embodiments.
  • Figure 3 illustrates a V-MESH compression method according to embodiments.
  • FIG. 4 illustrates pre-processing of V-MESH compression according to embodiments.
  • Figure 5 illustrates a mid-edge subdivision method according to embodiments.
  • Figure 6 shows a displacement generation process according to embodiments.
  • Figure 7 illustrates an encoding process of mesh data according to embodiments.
  • Figure 8 shows a lifting conversion process for displacement according to embodiments.
  • Figure 9 illustrates a process of packing transformation coefficients into a 2D image according to embodiments.
  • Figure 10 illustrates an attribute transfer process of a V-MESH compression method according to embodiments.
  • Figure 11 illustrates a decoding process of mesh data according to embodiments.
  • Fig. 12 is a drawing showing an example of a transmitting device according to embodiments.
  • Fig. 13 is a drawing showing an example of a receiving device according to embodiments.
  • FIG. 14 is a diagram showing an example of dynamic mesh data having multiple attribute information according to embodiments.
  • FIG. 15 is a drawing showing an example of a texture map video regenerated according to embodiments.
  • Fig. 16 is a drawing showing an example of a detailed block diagram of a parameterization unit according to embodiments.
  • FIG. 17 is a diagram showing an example of mesh patches constituting a simplified mesh according to embodiments being mapped onto a 2D image.
  • FIG. 18 is a diagram showing another example of a texture map video regenerated according to embodiments.
  • Fig. 19 is a flowchart showing an example of a mesh data encoding method according to embodiments.
  • Fig. 20 is a flowchart showing an example of a mesh data decoding method according to embodiments.
  • 3D data can be represented as point clouds, meshes, etc., depending on the representation format.
  • a mesh is composed of geometric information expressing the coordinate values of each vertex (or point), connection information indicating the connection relationship between vertices, a texture map expressing the color information of the mesh surface as 2D image data, and texture coordinates indicating mapping information between the surface of the mesh and the texture map.
  • a mesh is defined as a dynamic mesh if one or more of the elements that make up the mesh change over time, and a static mesh if they do not change.
  • dynamic mesh data may refer to mesh data that has an object or movement.
  • dynamic mesh data has a large amount of data for elements that constitute the mesh compared to two-dimensional image data
  • technologies have been developed to efficiently compress this large amount of mesh data to store and transmit it.
  • Figures 1(a) and 1(b) illustrate a V-DMC-based encoder and decoder according to embodiments.
  • Figure 1(a) illustrates an encoder
  • Figure 1(b) illustrates a decoder.
  • the basic structure of the currently in-progress V-DMC (v-mesh) is as shown in Fig. 1(a) and Fig. 1(b).
  • the encoder according to Fig. 1(a) and the decoder according to Fig. 1(b) perform the process of encoding and decoding media representing dynamic meshes using V3C (Visual Volumetric Video-based Coding) technology.
  • the preprocessor converts the input dynamic mesh representation into several V3C components (base mesh, displacement set, 2D representation of attributes, and atlas).
  • the original mesh is simplified into the base mesh.
  • the base mesh can be encoded using any mesh codec.
  • the displacement vector can be encoded into the V3C geometry video component using any video codec, either indicated by the profile or based on the SEI (supplemental enhancement information) message.
  • the displacement vector (or displacement data) can be encoded via a video codec-based encoder, a zero-run length encoder, an arithmetic encoder, etc.
  • the attribute data can include additional attributes.
  • texture or material information can be included as additional attributes, and can be encoded based on any video codec.
  • the atlas data includes information on how to perform inverse reconstruction, and is provided to the V3C (or v-mesh) decoding and/or rendering system of the receiving device.
  • the atlas data can include a method for performing subdivision of the base mesh, a method for applying displacement vectors to subdivided mesh vertices, a method for applying attributes to the reconstructed mesh, etc.
  • An encoder may comprise a memory and at least one processor connected to the memory.
  • the at least one processor may be configured to perform operations such as a pre-processor, an atlas encoding unit, a basemesh encoding unit, a displacement vector encoding unit, a video encoding unit, and a multiplexer.
  • the atlas encoding unit encodes an atlas of mesh data to generate an atlas bitstream.
  • the basemesh encoding unit encodes a basemesh of mesh data to generate a basemesh bitstream.
  • the displacement vector encoding unit encodes a displacement vector of mesh data to generate a displacement vector bitstream.
  • the video encoding unit encodes an attribute of mesh data to generate an attribute bitstream.
  • An encoder according to embodiments may generate parameter information (which may be referred to as signaling information, metadata, etc.) related to each encoding.
  • An encoder according to embodiments may generate a compressed bitstream including parameter information, an atlas, a basemesh, displacement vectors, and/or attributes.
  • a decoder may comprise a memory and at least one processor connected to the memory.
  • the at least one processor may be configured to perform operations such as a demultiplexer, an atlas decoding unit, a basemesh decoding unit, a displacement vector decoding unit, and a video decoding unit.
  • the atlas decoding unit decodes the atlas within the bitstream.
  • the basemesh decoding unit decodes the basemesh within the bitstream.
  • the displacement vector decoding unit decodes the displacement vector within the bitstream.
  • the video decoding unit decodes the attribute within the bitstream.
  • the decoder according to the embodiments may perform each decoding operation based on parameter information within the bitstream.
  • the basemesh processing unit restores the current basemesh from the decoded basemesh based on the atlas and/or parameter information.
  • the displacement processing unit restores the displacement vector by performing coordinate system transformation of the decoded displacement vector based on the atlas and/or parameter information.
  • the mesh restoration unit restores the final mesh by combining the restored basemesh and the restored displacement vector based on the atlas and/or parameter information.
  • the restored mesh processing unit of the decoder according to the embodiments can generate and render a reconstructed dynamic mesh image by combining the decoded attribute (or texture map) with the restored final mesh. That is, the reconstructed dynamic mesh image can be displayed to the user.
  • FIG. 2 illustrates a system for providing dynamic mesh content according to embodiments.
  • the system of FIG. 2 includes a transmitting device (100) and a receiving device (110) according to embodiments.
  • the transmitting device (100) may include a mesh video acquisition unit (101), a mesh video encoder (102), a file/segment encapsulator (103), and a transmitter (104).
  • the receiving device (110) may include a receiving unit (111), a file/segment decapsulator (112), a mesh video decoder (113), and a renderer (114).
  • Each component of FIG. 2 may correspond to hardware, software, a processor, and/or a combination thereof.
  • the mesh data transmitting device may be interpreted as a term referring to a 3D data transmitting device or transmitting device (100), or a mesh video encoder (hereinafter, referred to as an encoder) (102).
  • the mesh data receiving device may be interpreted as a term referring to a 3D data receiving device or receiving device (110), or a mesh video decoder (hereinafter, decoder) (113).
  • the system of FIG. 2 can perform video-based dynamic mesh compression and decompression.
  • 3D content increasingly represents objects with greater precision and realism, enabling users to enjoy immersive experiences.
  • 3D meshes are widely used for efficient data utilization and realistic object representation. Embodiments include a series of processing steps in a system that utilizes such mesh content.
  • Point cloud data is data that has color information at the coordinates (X, Y, Z) of a vertex (or point).
  • the coordinates (i.e., position information) of a vertex are referred to as geometry information
  • the color information of a vertex is referred to as attribute information
  • the geometry information and attribute information are referred to as vertex information or point cloud data.
  • the vertex information to which connectivity information between vertices is added is referred to as mesh data.
  • it can be created in the form of mesh data from the beginning. Alternatively, it can be used by converting it into mesh data by adding connectivity information to point cloud data.
  • the MPEG standards body defines the data types of dynamic mesh data as the following two types.
  • Category 1 Mesh data with texture maps as color information.
  • Category 2 Mesh data with vertex colors as color information.
  • Mesh coding standards for Category 1 data are currently under development, and work on Category 2 data standards is also planned for the future.
  • the overall process for providing mesh content services may include acquisition, encoding, transmission, decoding, rendering, and/or feedback, as shown in Figure 2.
  • 3D data acquired through multiple cameras or specialized cameras can be processed into mesh data types through a series of processes and then converted into video.
  • the generated mesh video is then transmitted through a series of processes, and the receiving end can then reprocess the received data into mesh video and render it. This allows mesh video to be presented to users, who can then interact with the mesh content according to their intended intent.
  • a mesh compression system may include a transmitting device (100) and a receiving device (110) as shown in FIG. 2.
  • the transmitting device (100) may encode mesh video to output a bitstream, and transmit the bitstream to the receiving device (110) in the form of a file or streaming (streaming segment) via a digital storage medium or a network.
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • the encoder may be called a mesh video/video/picture/frame encoding device
  • the decoder may be called a mesh video/video/picture/frame decoding device.
  • the transmitter may be included in a mesh video encoder.
  • the receiver may be included in a mesh video decoder.
  • the renderer (114) may include a display unit, and the renderer and/or the display unit may be configured as separate devices or external components.
  • the transmitting device (100) and the receiving device (110) may further include separate internal or external modules/units/components for a feedback process.
  • Mesh data represents the surface of an object as a number of polygons. Each polygon is defined by vertices in 3D space and connection information that describes how the vertices are connected. It can also contain vertex attributes such as vertex color and normal. Mapping information that allows the surface of the mesh to be mapped to a 2D planar area can also be included in the attributes of the mesh. The mapping can be described as a set of parameter coordinates, commonly called UV coordinates or texture coordinates, associated with the mesh vertices.
  • Meshes contain 2D attribute maps, which can be used to store high-resolution attribute information such as texture, normal, and displacement. Here, displacement can be used interchangeably with displacement information or displacement vector.
  • the mesh video acquisition unit (101) may include processing 3D object data acquired through a camera, etc. into a mesh data type having the attributes described above through a series of processes and generating a video composed of such mesh data.
  • the mesh video may have attributes of the mesh, such as vertices, polygons, connection information between vertices, colors, normals, etc., that may change over time.
  • a mesh video having attributes and connection information that change over time in this way may be expressed as a dynamic mesh video.
  • a mesh video encoder (102) can encode an input mesh video into one or more video streams.
  • One video can include multiple frames, and one frame can correspond to a still image/picture.
  • a mesh video can include a mesh image/frame/picture, and a mesh video can be used interchangeably with a mesh image/frame/picture.
  • the mesh video encoder (102) can perform a Video-based Dynamic Mesh (V-Mesh) Compression procedure.
  • the mesh video encoder (102) can perform a series of procedures such as prediction, transformation, quantization, and entropy coding for compression and coding efficiency.
  • the encoded data (encoded video/image information) can be output in the form of a bitstream.
  • the file/segment encapsulator (103) can encapsulate encoded mesh video data and/or mesh video-related metadata in the form of a file, etc.
  • the mesh video-related metadata may be received from a metadata processing unit, etc.
  • the metadata processing unit may be included in the mesh video encoder (102) or may be configured as a separate component/module.
  • the file/segment encapsulator (103) can encapsulate the corresponding data in a file format such as ISOBMFF, or process it in the form of other DASH segments, etc.
  • the file/segment encapsulator (103) may include mesh video-related metadata in the file format according to an embodiment.
  • the mesh video metadata may be included in boxes at various levels in the ISOBMFF file format, for example, or may be included as data in a separate track within the file.
  • the file/segment encapsulator (103) may encapsulate the mesh video related metadata itself into a file.
  • the transmission processing unit can process encapsulated mesh video data for transmission according to the file format.
  • the transmission processing unit can be included in the transmission unit (104) or can be configured as a separate component/module.
  • the transmission processing unit can process mesh video data according to any transmission protocol.
  • the processing for transmission can include processing for transmission through a broadcast network or processing for transmission through broadband.
  • the transmission processing unit can receive not only mesh video data but also mesh video-related metadata from the metadata processing unit and process it for transmission.
  • the transmission unit (104) can transmit encoded video/image information or data output in the form of a bitstream to the reception unit (111) of the reception device (110) via a digital storage medium or network in the form of a file or streaming.
  • the digital storage medium can include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, etc.
  • the transmission unit (104) can include an element for generating a media file through a predetermined file format and can include an element for transmission via a broadcasting/communication network.
  • the reception unit (111) can extract the bitstream and transmit it to a decoding device.
  • the receiving unit (111) can receive mesh video data transmitted by a mesh data transmission device. Depending on the channel through which it is transmitted, the receiving unit (111) can receive mesh video data through a broadcast network, through a broadband, or through a digital storage medium.
  • the receiving processing unit can perform processing according to the transmission protocol on the received mesh video data.
  • the receiving processing unit can be included in the receiving unit (111) or can be configured as a separate component/module. In order to correspond to the processing performed for transmission on the transmitting side, the receiving processing unit can perform the reverse process of the aforementioned transmission processing unit.
  • the receiving processing unit can transfer the acquired mesh video data to the file/segment decapsulator (112) and transfer the acquired mesh video-related metadata to the metadata parser.
  • the mesh video-related metadata acquired by the receiving processing unit can be in the form of a signaling table.
  • the file/segment decapsulator (112) can decapsulate mesh video data in the form of a file received from a receiving processing unit.
  • the file/segment decapsulator (112) can decapsulate files according to ISOBMFF, etc., to obtain a mesh video bitstream or mesh video-related metadata (metadata bitstream).
  • the obtained mesh video bitstream can be transmitted to the mesh video decoder (113), and the obtained mesh video-related metadata (metadata bitstream) can be transmitted to the metadata processing unit.
  • the mesh video bitstream may include metadata (metadata bitstream).
  • the metadata processing unit may be included in the mesh video decoder (113) or may be configured as a separate component/module.
  • the mesh video-related metadata obtained by the file/segment decapsulator (112) may be in the form of a box or track within a file format.
  • the file/segment decapsulator (112) may receive metadata required for decapsulation from the metadata processing unit, if necessary.
  • the mesh video related metadata may be passed to the mesh video decoder (113) and used in the mesh video decoding procedure, or may be passed to the renderer (114) and used in the mesh video rendering procedure.
  • the mesh video decoder (113) can receive a bitstream and perform a reverse operation corresponding to the operation of the mesh video encoder (102) to decode the video/image.
  • the decoded mesh video/image can be displayed through the display unit of the renderer (114).
  • the user can view all or part of the rendered result through a VR/AR display or a general display.
  • the feedback process may include a process of transmitting various feedback information that may be acquired during the rendering/display process to the transmitter or to the decoder on the receiver. Interactivity may be provided in mesh video consumption through the feedback process. Depending on the embodiment, head orientation information, viewport information indicating the area that the user is currently viewing, etc. may be transmitted during the feedback process. Depending on the embodiment, the user may interact with things implemented in the VR/AR/MR/autonomous driving environment, in which case information related to the interaction may be transmitted to the transmitter or the service provider during the feedback process. Depending on the embodiment, the feedback process may not be performed.
  • Head orientation information can refer to information about the user's head position, angle, and movement. Based on this information, information about the area the user is currently viewing within the mesh video, i.e. viewport information, can be calculated.
  • Viewport information can be information about the area the user is currently viewing in the mesh video. This can be used to perform gaze analysis to determine how the user consumes the mesh video, which area of the mesh video they are gazing at, and for how long. Gaze analysis can be performed on the receiving side and transmitted to the transmitting side through a feedback channel.
  • Devices such as VR/AR/MR displays can extract the viewport area based on the user's head position/orientation, the vertical or horizontal FOV supported by the device, etc.
  • the aforementioned feedback information may not only be transmitted to the transmitter but may also be consumed by the receiver. That is, the aforementioned feedback information may be utilized to perform decoding, rendering, and other processes on the receiver. For example, head orientation information and/or viewport information may be utilized to preferentially decode and render only the mesh video for the area currently being viewed by the user.
  • Dynamic mesh video compression is a method for processing mesh connection information and attributes that change over time, and it can perform lossy and lossless compression for various applications such as real-time communication, storage, free-viewpoint video, and AR/VR.
  • the dynamic mesh video compression method described below is based on MPEG's V-Mesh method.
  • picture/frame can generally mean a unit representing one video of a specific time period.
  • a pixel or pel can refer to the smallest unit that constitutes a picture (or image). Additionally, the term "sample" can be used as a counterpart to a pixel.
  • a sample can generally represent a pixel or a pixel value, and can represent only the pixel/pixel value of the luma component, only the pixel/pixel value of the chroma component, or only the pixel/pixel value of the depth component.
  • a unit may represent a basic unit of image processing.
  • a unit may include at least one of a specific region of a picture and information related to the region.
  • the term “unit” may be used interchangeably with terms such as "block” or "area.”
  • an MxN block may include a set (or array) of samples (or sample array) or transform coefficients consisting of M columns and N rows.
  • the video-based dynamic mesh compression (V-Mesh) compression method can provide a method of compressing dynamic mesh video data based on 2D video codecs such as HEVC (High Efficiency Video Coding) and VVC (Versatile Video Coding).
  • the V-Mesh compression process receives the following data as input and performs compression.
  • Input mesh Contains the 3D coordinates of the vertices that make up the mesh, normal information for each vertex, mapping information that maps the mesh surface to a 2D plane, and connection information between the vertices that make up the surface.
  • the mesh surface can be expressed as triangles or more polygons, and connection information between the vertices that make up each surface is stored according to a set shape.
  • the input mesh can be saved in the OBJ file format.
  • Attribute map (Hereinafter, texture map is also used in the same meaning): Contains information about the attributes of the mesh (color, normal, displacement, etc.), and stores data in the form of mapping the surface of the mesh onto a 2D image. Mapping which part (surface or vertex) of the mesh each data of this attribute map corresponds to is based on the mapping information contained in the input mesh. Since the attribute map has data for each frame of the mesh video, it can also be expressed as an attribute map video.
  • the attribute map in the V-Mesh compression method mainly contains the color information of the mesh, and is saved in an image file format (PNG, BMP, etc.).
  • Material Library File Contains information about the material attributes used in a mesh, and in particular, information that links the input mesh to its corresponding attribute map. It is saved in the Wavefront Material Template Library (MTL) file format.
  • TTL Wavefront Material Template Library
  • the following data and information can be generated through the compression process.
  • Base mesh The input mesh is simplified (decimated) through a pre-processing process, thereby expressing the objects of the input mesh using the minimum number of vertices determined by the user's standards.
  • Displacement This is displacement information used to express the input mesh as similarly as possible to the base mesh, and is expressed in the form of 3D coordinates.
  • Atlas information This is the metadata required to reconstruct a mesh using base mesh, displacement, and attribute map information. Atlas information can be created and utilized as sub-mesh units (such as patches) that make up the mesh.
  • FIGS. 3 to 7 a method for encoding mesh position information (or vertex position information) is described, and referring to FIGS. 7 to 10, etc., a method for encoding attribute information (attribute map) by restoring mesh position information is described.
  • Figure 3 illustrates a V-MESH compression method according to embodiments.
  • Fig. 3 illustrates the encoding process of Fig. 2, and the encoding process may include a pre-processing process and an encoding process.
  • the mesh video encoder (102) of Fig. 2 may include a pre-processor (200) and an encoder (201) as shown in Fig. 3.
  • the transmitting device of Fig. 2 may be broadly referred to as an encoder, and the mesh video encoder (102) of Fig. 2 may be referred to as an encoder.
  • the V-Mesh compression method may include a pre-processing process (Pre-processing, 200) and an encoding process (Encoding, 201) as shown in Fig. 3.
  • the pre-processor (200) of Fig. 3 may be located in front of the encoder (201) of Fig. 3.
  • the pre-processor (200) and the encoder (201) of Fig. 3 may be referred to as a single encoder.
  • the pre-processor (200) can receive a static of a dynamic mesh (M(i)) and/or an attribute map (A(i)).
  • the pre-processor (200) can generate a base mesh (m(i)) and/or a displacement (d(i)) through pre-processing.
  • the pre-processor (200) can receive feedback information from the encoder (201) and generate the base mesh and/or the displacement based on the feedback information.
  • the encoder (201) can receive a base mesh (m(i)), a displacement (d(i)), a static of a dynamic mesh (M(i)), and/or an attribute map (A(i)).
  • a base mesh (m(i)), a displacement (d(i)), a static of a dynamic mesh (M(i)), and/or an attribute map (A(i)) can be referred to as mesh-related data.
  • the encoder (201) can encode the mesh-related data to generate a compressed bitstream.
  • Figure 4 illustrates a pre-processing process of V-MESH compression according to embodiments.
  • Fig. 4 illustrates the configuration and operation of the preprocessor of Fig. 3.
  • the input mesh may include a static of a dynamic mesh (M(i)) and/or an attribute map (A(i)).
  • the input mesh may include three-dimensional coordinates of vertices constituting the mesh, normal information of each vertex, mapping information for mapping the mesh surface to a 2D plane, connection information between vertices constituting the surface, etc.
  • Fig. 4 shows a process of performing pre-processing on an input mesh.
  • the pre-processing process (200) may largely include four steps: 1) GoF (Group of Frame) generation, 2) Mesh Decimation, 3) UV parameterization, and 4) Fitting subdivision surface (300).
  • GoF generation may be referred to as a GoF generation process or a GoF generation unit
  • mesh simplification may be referred to as a mesh simplification process or a mesh simplification unit
  • UV parameterization may be referred to as a UV parameterization process or a UV parameterization unit
  • the fitting subdivision surface may be referred to as a fitting subdivision surface process or a fitting subdivision surface unit.
  • the pre-processor (200) can generate displacement and/or base meshes from the received input mesh and transmit them to the encoder (201).
  • the pre-processor (200) can transmit GoF information associated with GoF generation to the encoder (201).
  • GoF Generation This is the process of generating a reference structure for mesh data. If the number of vertices, the number of texture coordinates, the vertex connection information, and the texture coordinate connection information of the mesh of the previous frame and the current mesh are all the same, the previous frame can be set as the reference frame. That is, if only the vertex coordinate values are different between the current input mesh and the reference input mesh, the encoder (201) can perform inter frame encoding. Otherwise, intra frame encoding is performed for the corresponding frame.
  • the input mesh (voxelized), target triangle ratio (TTR), and minimum triangle component (CCCount) information are passed as input, and the simplified mesh (decimated mesh) can be obtained as output.
  • the simplified mesh (decimated mesh) can be obtained as output.
  • connected triangle components smaller than the set minimum triangle component (CCCount) can be removed.
  • UV parameterization This is the process of mapping a 3D surface of a decimated mesh into a texture domain. Parameterization can be performed using the UVAtlas tool. This process generates mapping information, which indicates where each vertex of the decimated mesh can be mapped to on a 2D image. This mapping information is expressed and stored as texture coordinates, and through this process, the final base mesh is created.
  • OrthoAtlas technology generates texture coordinates using orthographic projection. OrthoAtlas technology sequentially generates patches and packs them. First, adjacent triangles are divided to generate Connected Components (CCs), and then the optimal CCs are merged using a cost function to generate patches. The cost function can measure the cost based on the degree of distortion that occurs when orthogonally projecting patches in each direction. By packing the patch that minimizes the cost function into the texture domain, the texture coordinates can be calculated. In the case of orthoAtlas technology, texture coordinates and texture connection information can be derived from the base mesh decoder without being compressed during the base mesh encoding process.
  • Fitting subdivision surface (300) This is a process of performing subdivision on a decimated mesh (i.e., a simplified mesh having texture coordinates).
  • the displacement and base mesh generated through this process are output to the encoder (201).
  • a user-defined method such as a mid-edge method, may be applied as the subdivision method.
  • a fitting process is performed so that the input mesh and the mesh on which the subdivision is performed are similar to each other.
  • the mesh on which the fitting process is performed is referred to as a fitted subdivision mesh (or fitted subdivision mesh).
  • This process is a process of performing fitting so that the mesh on which the subdivision is performed on the base mesh is similar to the surface of the input mesh.
  • a user-defined method such as the mid-edge method (see Fig. 5), the loop method, and the LS3 method can be applied.
  • Figure 5 illustrates a mid-edge subdivision method according to embodiments.
  • Figure 5 illustrates the mid-edge method of the fitting subdivision surface described in Figure 4.
  • an original mesh containing four vertices is subdivided to generate a sub-mesh.
  • a sub-mesh can be generated by creating a new vertex in the middle of the edge between the vertices. Then, a fitting process is performed so that the input mesh and the sub-mesh become similar to each other, thereby generating a fitted sub-division mesh.
  • a fitted subdivided mesh (hereinafter referred to as a fitted subdivided mesh)
  • displacement is calculated using this result and a pre-compressed and decoded base mesh (hereinafter referred to as a reconstructed base mesh). That is, the reconstructed base mesh is subdivided in the same way as the fitting subdivision surface.
  • the difference in position of each vertex between this result and the fitted subdivided mesh is the displacement for each vertex. Since the displacement represents the position difference in three-dimensional space, it is also expressed as a value in the (x, y, z) space of the Cartesian coordinate system.
  • the (x, y, z) coordinate values can be converted to (normal, tangential, bi-tangential) coordinate values of the local coordinate system.
  • Fig. 6 illustrates a displacement generation process according to embodiments.
  • the displacement generation process of Fig. 6 may be performed in a pre-processor (200) or in an encoder (201).
  • Fig. 6 illustrates in detail the displacement calculation method of the fitting subdivision surface (300) as described in Fig. 5.
  • An encoder and/or pre-processor may include 1) a subdivision unit, 2) a local coordinate system calculation unit, and 3) a displacement calculation unit.
  • the subdivision unit may perform subdivision on a restored base mesh to generate a subdivided restored base mesh.
  • the restoration of the base mesh may be performed in the pre-processor (200) or in the encoder (201).
  • the local coordinate system calculation unit may receive a fitted subdivision mesh and a subdivided restored base mesh, and may convert a coordinate system of the mesh into a local coordinate system based on the fitted subdivision mesh and the subdivided restored base mesh.
  • the local coordinate system calculation operation may be optional.
  • the displacement calculation unit may calculate a positional difference between the fitted subdivision mesh and the subdivided restored base mesh. For example, a positional difference value between vertices of two input meshes may be generated. The vertex positional difference value becomes a displacement.
  • the mesh data transmission method and device can encode mesh data as follows.
  • Mesh data is a term including point cloud data.
  • Point cloud data (which may be referred to as point cloud for short) according to the embodiments can refer to data including vertex coordinates (or geometry information) and color information (or attribute information).
  • vertex coordinates or geometry information
  • color information or attribute information
  • point cloud data or attribute information
  • point cloud data including connection information can be referred to as mesh data.
  • point cloud and mesh data can be used interchangeably.
  • the V-Mesh compression (reconstruction) method may include intra frame encoding and inter frame encoding.
  • intra-frame encoding or inter-frame encoding is performed.
  • the data to be compressed may be a base mesh, displacement, attribute map, etc.
  • the data to be compressed may be a displacement, attribute map, and a motion field between a reference base mesh and the current base mesh.
  • Figure 7 illustrates a V-DMC encoding process according to embodiments.
  • the elements of the transmitting device illustrated in FIG. 7 may be implemented by hardware, software, a processor connected to a memory, and/or a combination thereof. That is, the elements of the transmitting device illustrated in FIG. 7 may be implemented by hardware, software, firmware, or a combination thereof, including one or more processors or integrated circuits configured to communicate with one or more memories, although not illustrated in the drawing.
  • One or more processors may perform at least one or more of the operations and/or functions of the elements of the transmitting device illustrated in FIG. 7.
  • one or more processors may operate or execute a set of software programs and/or instructions for performing the operations and/or functions of the elements of the transmitting device illustrated in FIG. 7.
  • the execution order of each block in FIG. 7 may be changed, some blocks may be omitted, and some blocks may be newly added.
  • the operation process of a transmitter for compressing and transmitting dynamic mesh data using V-Mesh compression technology may be as shown in Fig. 7.
  • the transmitter of Fig. 7 may support both an intra-frame encoding (or intra-encoding or intra-screen encoding) process and/or an inter-frame encoding (or inter-encoding or inter-screen encoding) process.
  • the encoding process of FIG. 7 details the encoding of the mesh video encoder (102) of FIG. 2.
  • the encoder of FIG. 7 may include a pre-processor (200) and/or an encoder (201).
  • the pre-processor (200) and encoder (201) of FIG. 7 may correspond to the pre-processor (200) and encoder (201) of FIG. 4.
  • the preprocessor (200) can receive an input mesh and perform the preprocessing described above.
  • the preprocessing can generate a base mesh and/or a fitted subdivision mesh.
  • the quantizer (411) of the encoder (201) can quantize the base mesh and/or the fitted subdivided mesh.
  • the base mesh quantized in the mesh quantization unit (411) may be output to a static mesh encoder (413) or a motion vector encoder (414) through a switching unit (412).
  • the base mesh is output to a motion vector encoder (414) through the switching unit (412) when inter-encoding is performed on the corresponding mesh frame, and is output to a static mesh encoder (413) through the switching unit (412) when intra-encoding is performed on the corresponding mesh frame.
  • the motion vector encoder (414) may be referred to as a motion encoder.
  • the base mesh when performing intra encoding or intra frame encoding for the corresponding mesh frame, can be compressed through a static mesh encoder (413).
  • encoding can be performed on connection information, vertex geometry information, vertex texture information, normal information, etc. of the base mesh. That is, vertex coordinates, vertex connection information, texture coordinates, texture connection information, etc. of the mesh can be encoded in the static mesh encoder (413).
  • the base mesh bitstream generated through encoding is transmitted to a multiplexer (not shown).
  • the motion vector encoder (414) may receive the current base mesh and the reference reconstructed base mesh (or the reconstructed quantized reference base mesh) as input, calculate a motion vector between the two meshes, and encode the value.
  • the motion vector encoder (414) may perform prediction based on connection information using a previously encoded/decoded motion vector as a predictor, and entropy-encode a differential motion vector (or residual motion vector) obtained by subtracting the predicted motion vector from the current motion vector.
  • the motion vector encoding may be performed on a vertex basis or a subgroup basis.
  • the motion vector bitstream generated through the motion vector encoding is transmitted to a multiplexer (not shown) as a base mesh bitstream. That is, in the case of intra-frame encoding, the static mesh bitstream is input to the multiplexer as the base mesh bitstream, and in the case of inter-frame encoding, the motion vector bitstream is input to the multiplexer as the base mesh bitstream.
  • the base mesh restoration unit (415) can receive a base mesh encoded by the static mesh encoder (413) or a motion vector encoded by the motion vector encoder (414) to generate a reconstructed base mesh.
  • the base mesh restoration unit (415) performs restoration of the base mesh according to the encoding type (inter-screen encoding or intra-screen encoding) of the current mesh.
  • the base mesh restoration unit (415) can perform static mesh decoding on the base mesh encoded by the static mesh encoder (413) to restore the base mesh.
  • quantization can be applied before static mesh decoding, and inverse quantization can be applied by the inverse quantization unit (416) after static mesh decoding.
  • the inverse quantization unit (416) can perform inverse quantization on the quantized base mesh through the mesh quantization unit (411) to restore the current base mesh.
  • the base mesh restoration unit (415) can restore the base mesh based on the restored quantized reference base mesh and the motion vector encoded by the motion vector encoder (414). That is, when inter-screen encoding is performed, the current base mesh can be generated by decoding the motion vector using the motion vector decoding method and then applying (i.e., adding) the decoded motion vector to the reference restoration base mesh.
  • the motion vector restoration process is omitted and the current base mesh can be restored using the motion vector calculated by the motion vector encoder (414).
  • the restored base mesh is output to the displacement vector calculation unit (417) and the mesh restoration unit (425).
  • the displacement vector calculation unit (417) can perform mesh refinement on the restored base mesh.
  • the displacement vector calculation unit (417) can calculate a displacement vector, which is a difference value in vertex positions between the restored base mesh that has been refined and the fitted subdivision (or refined) mesh generated by the pre-processor (200). That is, the displacement vector is a difference in positions between the vertices of the two meshes so that the fitted subdivision (or refined) mesh becomes similar to the original mesh.
  • the displacement vector can be calculated as many times as the number of vertices of the subdivision mesh. That is, the displacement vector of the number of vertices of the subdivision (refined) mesh can be calculated through the displacement vector calculation unit (417).
  • the lifting transformation unit (418) can perform a lifting transformation on the input displacement vector to generate a lifting coefficient (or displacement vector transformation coefficient).
  • the quantizer (419) can quantize the lifting coefficient, i.e., the displacement vector transformation coefficient.
  • the displacement vector or the quantized displacement vector transform coefficient can be encoded through a 2D video codec-based encoding method, and/or a zero run length encoding method, and/or an arithmetic encoding method, etc.
  • the displacement vector or the quantized displacement vector transform coefficient is encoded based on an arithmetic codec in an arithmetic encoding unit (421) after inter prediction in an inter prediction unit (420), and if a 2D video codec-based encoding method is used, the displacement vector or the quantized displacement vector transform coefficient is encoded based on a 2D video codec in a video encoding unit (423) after image packing in an image packing unit (422) and can be output as a displacement bitstream (i.e., compressed displacement bitstream).
  • the image packing unit (422) can pack an image based on quantized lifting coefficients (i.e., displacement vector transform coefficients).
  • the video encoding unit (423) can encode the packed image. That is, the quantized lifting coefficients are packed into one frame as a 2D image by the image packing unit (422), compressed by the video encoding unit (423), and output as a displacement bitstream (i.e., compressed displacement bitstream).
  • the displacement vector restoration unit (424) may include a video decoder, an image unpacking unit, an inverse quantizer, and an inverse linear lifting unit. That is, the displacement vector restoration unit (424) performs decoding on an encoded displacement vector in the video decoder, performs image unpacking in the image unpacking unit, performs inverse quantization in the inverse quantizer, and then performs inverse transformation in the inverse linear lifting unit to restore the displacement vector.
  • the restored displacement vector is output to the mesh restoration unit (425).
  • the mesh restoration unit (425) restores the deformed mesh based on the base mesh restored by the base mesh restoration unit (415) and the displacement vector restored by the displacement vector restoration unit (424).
  • the mesh restoration unit (425) restores the reconstructed and deformed mesh through the restored displacement output from the displacement vector restoration unit (424) and the restored base mesh (or subdivided restored base mesh) output from the inverse quantization unit (416).
  • the present disclosure refers to the reconstructed and deformed mesh as a restored deformed mesh.
  • the restored mesh (or restored deformed mesh) has restored vertices, connection information between vertices, texture coordinates, and connection information between texture coordinates.
  • the attribute transfer (426) receives an input mesh and/or an input attribute map, and regenerates an attribute map based on the restored deformed mesh.
  • the attribute map refers to a texture map corresponding to attribute information among mesh data components, and in the present disclosure, the attribute map and the texture map may be used interchangeably.
  • the push-pull padding (427) may pad data in the attribute map based on the push-pull method.
  • the color space conversion unit (428) may convert the space of the color component of the attribute map. For example, the attribute map may be converted from an RGB color space to a YUV color space.
  • the video encoding unit (429, also referred to as a video encoder) may encode the attribute map and output it as a compressed attribute bitstream.
  • the atlas encoder (430) may encode atlas information (or atlas data) to generate a compressed atlas bitstream. Then, the atlas bitstream generated through atlas information encoding is transmitted to the multiplexer (431).
  • the atlas may be information required in a mesh reconstruction process and may mean information such as tiles and patches.
  • the atlas information may mean data required in processes such as 2D mapping for a 3D object, texture mapping-related information, mesh decoding, and mesh restoration, and may include additional information such as a segmentation method, a transformation method, a quantization method, and the position and size of a patch within an atlas frame.
  • the atlas information may be encoded through Exp-Golomb coding of the atlas encoder (430), etc.
  • the multiplexer (430) can multiplex an input compressed base mesh bitstream, a compressed displacement (or displacement vector) bitstream, a compressed attribute (or texture map) bitstream, and a compressed atlas bitstream to generate a single compressed bitstream.
  • the multiplexed bitstream can be encapsulated into one or more tracks of a file.
  • the bitstream or file multiplexed in the multiplexer (431) may be transmitted over a network or stored in a digital storage medium.
  • the network may include a broadcasting network and/or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, and SSD.
  • encoding can be performed in different ways depending on the base mesh type (INTRA type, INTER type, SKIP type). If the base mesh is INTRA type, it can be encoded using the static mesh encoding method. If the base mesh is INTER type, the motion field between the reference base mesh and the current base mesh can be encoded. If the current base mesh is SKIP type, the reference base mesh can be derived as the current base mesh.
  • the decoded base mesh After being encoded by the encoder, the decoded base mesh can be subdivided into a subdivided mesh through a subdivision process. Subdivision algorithms such as mid-point subdivision and loop subdivision can be used.
  • Static Base Mesh Encoding When performing Intra encoding on the current base mesh, the base mesh generated during the preprocessing process can be encoded using static mesh compression technology after going through the quantization process. Static mesh compression applies MPEG EdgeBreaker (MEB) technology, and the vertex position information, mapping information (texture coordinates), vertex connection information, and normals of the base mesh are compressed.
  • MEB MPEG EdgeBreaker
  • a technique for compressing vertex position information can encode the residual value, which is the difference between the current vertex and the predicted value, after obtaining the predicted value based on a prediction technique such as multiple parallelogram prediction.
  • a technique for compressing mapping information can encode the residual value, which is the difference between the current mapping information (texture coordinates) and the predicted value, after obtaining the predicted value based on a prediction technique such as stretch.
  • the motion field can be encoded as a value, or the predicted motion field can be calculated by averaging the motion fields of the reconstructed vertices among the vertices connected to the current vertex, and the residual motion field, which is the difference between the predicted motion field value and the motion field value of the current vertex, can be encoded.
  • This value can be encoded using entropy coding.
  • the decoding process of Fig. 2 can perform the reverse process of the corresponding process of the encoding process of Fig. 2.
  • the specific decoding process is as follows.
  • Fig. 12 illustrates a mesh data transmission device according to embodiments.
  • the displacement calculation unit (816) can perform mesh refinement on the restored base mesh.
  • the displacement calculation unit (816) can calculate a displacement vector, which is a difference value in the vertex positions between the restored base mesh that has been refined and the fitted subdivision (or refined) mesh generated by the pre-processor (811). At this time, the displacement vector can be calculated as many times as the number of vertices of the refined mesh.
  • the displacement calculation unit (816) can convert the displacement vector calculated in the 3D Cartesian coordinate system into a local coordinate system based on the normal vector of each vertex.
  • the displacement vector video generation unit (817) may include a linear lifting unit, a quantizer, and an image packing unit. That is, in the displacement vector video generation unit (817), the linear lifting unit may transform the displacement vector for effective encoding. The transformation may be performed by a lifting transformation, a wavelet transformation, etc., according to embodiments. In addition, quantization may be performed in a quantizer on the transformed displacement vector value, that is, the transform coefficient. At this time, different quantization parameters may be applied to each axis of the transform coefficient, and the quantization parameters may be derived according to the agreement of the encoder/decoder.
  • the displacement vector information that has undergone transformation and quantization may be packed into a 2D image in the image packing unit.
  • the displacement vector video generation unit (817) may generate a displacement vector video by bundling the packed 2D images for each frame, and the displacement vector video may be generated for each GoF (Group of Frame) unit of the input mesh.
  • GoF Group of Frame
  • the displacement vector video encoder (818) can encode the generated displacement vector video using a video compression codec.
  • the generated displacement vector video bitstream is transmitted to a multiplexer (823).
  • the generated texture map video can be encoded using a video compression codec of a texture map video encoder (822).
  • the texture map video bitstream generated through encoding is transmitted to a multiplexer (823).
  • a transmitting device can encode a mesh in an intra-frame or inter-frame manner.
  • a transmitting device according to intra-encoding can generate a base mesh, a displacement vector (or displacement), and a texture map (or attribute map).
  • a transmitting device according to inter-encoding can generate a motion vector (or motion), a displacement vector (or displacement), and a texture map (or attribute map).
  • the texture map obtained from the data input unit is generated and encoded based on the restored mesh.
  • the displacement is generated and encoded through the difference in vertex positions between the base mesh and the divided (or subdivided or subdivided) mesh.
  • the displacement is the difference in positions between the fitted sub-divided mesh and the sub-divided restored base mesh, i.e., the difference in vertex positions between the two meshes.
  • the base mesh is generated by simplifying and encoding the original mesh through pre-processing.
  • Motion is generated as motion vectors for the mesh of the current frame based on the reference base mesh of the previous frame.
  • the motion vector decoder (913) can perform decoding on the motion vector bitstream. According to embodiments, the motion vector decoder (913) can reconstruct the final motion vector by adding the previously decoded motion vector as a predictor to the residual motion vector decoded from the bitstream.
  • the static mesh decoder (914) can decode the base mesh bitstream to restore connection information, vertex geometry information, texture coordinates, normal information, etc. of the base mesh.
  • Fig. 14 "Original" in the upper left corner represents the original 3D mesh model, visually representing the mesh structure of the human body. This model is the original data before any actual textures are applied, and only the geometric structure of the model is included.
  • the mesh simplification unit may select vertices to be removed from an input mesh based on criteria defined by the user, and then remove the selected vertices and triangles connected to the selected vertices.
  • information on a voxelized input mesh, a target triangle ratio (TTR), and a minimum triangle component (CCCount) may be transmitted as input, and a simplified mesh may be obtained as output.
  • TTR target triangle ratio
  • CCCount minimum triangle component
  • connected triangle components smaller than the set minimum triangle component (CCCount) may be removed.
  • the pre-processor (200) may additionally perform a process of reconstructing the arrangement of the multi-attribute information.
  • the process of reconstructing the arrangement of the multi-attribute information may be performed in the mesh simplification unit, or may be performed by adding a separate block or module before the mesh simplification unit.
  • Fig. 15 shows an example of a texture map video regenerated according to the aforementioned V-Mesh method. That is, when generating texture coordinates for a simplified mesh in the atlas parameterization step of the pre-processor (200), the texture coordinates for each vertex are generated using only information of the current frame generated by merging multiple texture maps. That is, in Fig. 15, each frame may include multiple (e.g., 6 or more) texture maps. At this time, the multiple texture maps may be reconstructed in arrangement based on similarity, etc., and then mapped to the corresponding frame. Reconstruction of the arrangement of multiple texture maps may be performed by changing the order of texture map indices. This process may be performed on a frame-by-frame basis.
  • Fig. 16 shows an example of a detailed block diagram of a parameterization unit according to embodiments.
  • the parameterization unit is included in the pre-processor (200) of FIG. 3, FIG. 4, FIG. 7 or FIG. 12. That is, in one embodiment, the parameterization unit of FIG. 16 is located between the mesh simplification unit and the fitting subdivision surface unit within the pre-processor (200).
  • segmentation of polygons or vertices is performed based on the characteristics of polygons (in the shape of triangles or squares) or vertices that constitute the mesh for a decimated mesh.
  • the direction of the polygon formed by the connection of the vertices that constitute the mesh or the direction of each vertex is determined to be closest to which of the directions of the planes of the bounding box that encloses the mesh object.
  • the direction can be determined by the normal vector of the polygon or the normal vector value of the vertex.
  • the mesh patch packing unit (11015) performs the task of mapping the previously generated mesh patches onto a single 2D image as shown in Fig. 17.
  • the mesh patch packing can be performed by applying the point cloud patch packing method of V-PCC.
  • the matching criteria may be used such as the direction of the mesh patch, the positional similarity of the polygons/vertexes constituting the mesh patch, etc.
  • each mesh patch constituting the simplified mesh being mapped and located on a 2D image can be obtained, as shown on the right side of FIG. 17.
  • the positions of the vertices constituting each mesh patch on the 2D image can be obtained.
  • the positions where each vertex is mapped on the 2D image have a 2D coordinate value, and in the method proposed in the present disclosure, these coordinate values are used as the texture coordinates of the vertices.
  • These texture coordinates are compressed as information constituting the base mesh as the texture coordinates for each vertex of the simplified mesh.
  • the simplified mesh having the texture coordinates is input to the fitting subdivision surface unit, and the subdivision (i.e., subdivision) and fitting processes are performed, and at this time, the fitted subdivided mesh and the base mesh are output to the encoder (201).
  • the detailed operation of the fitting subdivision surface unit will be described with reference to FIG. 4, and will be omitted here to avoid redundant description.
  • texture coordinates serve as a reference for determining where in the 2D texture map the color information of each vertex will be stored when regenerating the texture map for the mesh restored from attribute transfer.
  • the encoder (201) calculates displacement information (or displacement vector) based on the base mesh and the fitted subdivided mesh output from the pre-processor (200), and generates a reconstructed defomed mesh based on the calculated displacement information.
  • the reconstructed defomed mesh is obtained by adding the reconstructed displacement to the reconstructed base mesh that has been subdivided (or subdivided or subdivided). Details of generating the reconstructed defomed mesh in this document will be referred to the description of FIG. 7 or FIG. 12, and will be omitted here to avoid redundant description.
  • the attribute transfer (426) of FIG. 7 or the texture map video generation unit (821) of FIG. 12 regenerates a texture map (or attribute map) based on the texture map of the original mesh and the restored deformed mesh, as described above.
  • the texture coordinates output from the parameterization section of the pre-processor (200) become a reference for determining where in the 2D texture map the color information of each vertex will be stored when regenerating the texture map for the restored mesh in the attribute transfer step.
  • the present disclosure has packed similar mesh patches between frames into similar locations on a 2D image through the aforementioned process, so that similar mesh patches can have similar texture coordinates.
  • a texture map regenerated based on the texture coordinates can have a similar shape between frames.
  • the final generated texture map video can maintain temporal consistency as much as possible, as shown in FIG. 18, and can exhibit high compression performance when inter-frame prediction is applied during texture map video compression.
  • the present disclosure extends the above-described process to a texture composition method with multiple attribute information, thereby maximizing encoding efficiency by maintaining temporal continuity. Therefore, encoding efficiency can be maximized by reconstructing a mesh data layout with multiple attribute information as an input mesh, or by using it as is to generate the texture coordinates described above.
  • Fig. 18 shows another example of a texture map video regenerated according to embodiments. That is, Fig. 18 shows an example of the result of mapping mesh patches of the current frame onto a single 2D image by referring to the packing result of the previous frame.
  • the present disclosure generates texture coordinates for each vertex using the packing result of the previous frame and the information of the current frame when generating texture coordinates for a simplified mesh in the atlas parameterization step of the pre-processor (200). Then, the base mesh having the texture coordinates generated in this way is compressed and then restored, and when this is used to regenerate the texture map, the texture maps regenerated in the attribute transfer (426 of FIG. 7) or the texture map video generation unit (821) of FIG. 12 have a high image correlation between frames, as shown in FIG. 18. Taking a mesh patch called a face as an example in FIG.
  • the texture coordinates of the simplified mesh generated using the previous frame information and the current frame information in the parameterization step and the regenerated texture maps based on the original texture map show a high image correlation between frames and maintain temporal consistency.
  • the texture map regenerated in the attribute transfer (see 426 of FIG. 7) or the texture map video generation unit (821) of FIG. 12 is encoded in the video encoder (see 429 of FIG. 7 or 822 of FIG. 12) and output as a compressed attribute map bitstream.
  • the attribute map bitstream is used in the same meaning as the compressed texture map bitstream.
  • the compressed attribute bitstream is multiplexed with other bitstreams in a multiplexer and then transmitted to the receiving device of FIG. 11 or FIG. 13, or is encapsulated into a file or segment and then transmitted to the receiving device of FIG. 11 or FIG. 13.
  • segmentation is performed by combining polygons or vertices with similar characteristics based on the characteristics of the polygons or vertices that make up the mesh.
  • the segmented polygon or vertex set becomes one mesh patch, and a mesh patch packing process is performed to map the mesh patches generated from the input frame onto a 2D image.
  • the mesh patch packing method applies a method of packing mesh patches of the current frame by referring to the packing result of the previous frame so that the packing similarity between frames can be reflected.
  • the mapped coordinate locations are used as texture coordinates for each vertex that makes up the patches.
  • Fig. 19 is a flowchart illustrating an example of an encoding method according to embodiments.
  • the encoding method according to embodiments may include a step of encoding a base mesh of mesh data (S31011), a step of encoding a displacement of mesh data (S31012), and a step of encoding an attribute of mesh data (S31013).
  • the encoding method of FIG. 19 may further include a step of pre-processing the mesh data before performing steps S31011 to S31013, i.e., before encoding the mesh data.
  • the pre-processing of the present disclosure is performed in the pre-processor (200) of FIG. 4.
  • FIG. 7 or FIG. 12 are diagrams showing examples of a transmitting device including the pre-processor (200) of FIG. 4.
  • the pre-processing step may include a step of reconstructing the arrangement of multiple texture maps by measuring similarity through a method such as correlation or feature matching of all or part of each texture map (patch unit) when mesh data having multiple attribute information (i.e., texture maps) is input as an input mesh.
  • the preprocessing step may include a mesh simplification step, a parameterization step, and a fitting subdivision surface step.
  • the preprocessing may further include a GoF generation step. A detailed description of each step is provided in reference to the description of FIG. 4 described above.
  • the parameterization step may include a polygon segmentation step, a mesh patch segmentation step, and a mesh patch packing step.
  • a polygon segmentation step For a detailed description of each step, refer to the description of FIGS. 16 to 18 described above. That is, when the polygon segmentation step, the mesh patch segmentation step, and the mesh patch packing step are performed as described in FIGS. 16 to 18, texture coordinates for the vertices of the simplified mesh are generated.
  • the step (S31013) of encoding attributes of the above mesh data may perform encoding based on a video codec for attribute data (or texture map).
  • the texture map video generation unit processes the original texture map and regenerates it as a texture map for the restored mesh.
  • the vertex of the original mesh that is most similar to each vertex of the restored mesh is found, and the color information of the vertex is acquired from the original texture map and assigned to the 2D image of the texture map to be regenerated.
  • the texture coordinates of the corresponding vertices of the restored mesh become the locations where the color information is assigned.
  • a new texture map is regenerated based on the texture coordinates of the restored mesh.
  • the regenerated texture maps for each frame are processed as a video, compressed through a texture map video encoder, and then transmitted.
  • the texture map video generation unit (or attribute transfer) may be referred to as a texture map video generation step or an attribute transfer step.
  • the similarity between screens can be maintained in the texture map video regenerated through the texture map video generation unit (or attribute transfer), which can further improve the compression performance when encoding the texture map video using inter-screen encoding.
  • the step (S31011) of encoding the base mesh of the mesh data may encode the base mesh through a static mesh encoder when performing intra-encoding or intra-frame encoding on the corresponding mesh frame.
  • encoding may be performed on connection information, vertex geometry information, vertex texture information, normal information, etc. of the base mesh.
  • the step (S31011) of encoding the base mesh of the mesh data may, when performing inter-encoding or inter-frame encoding on the corresponding mesh frame, use a motion vector encoder to calculate a motion vector between the base mesh and the reference restored base mesh (or the restored quantized reference base mesh) and encode the value.
  • a previously encoded/decoded motion vector may be used as a predictor to perform connection information-based prediction, and a residual motion vector obtained by subtracting the predicted motion vector from the current motion vector may be encoded.
  • the step (S31012) of encoding the displacement of the above mesh data may perform video codec-based encoding on the displacement data or arithmetic codec-based encoding.
  • the step (S31012) of encoding the displacement of the above mesh data may convert the coordinate system of the displacement data from a three-dimensional Cartesian coordinate system to a local coordinate system before encoding the displacement data.
  • the encoding method may further include a step of transmitting a bitstream including encoded basemesh, encoded displacement data, encoded attribute data and/or atlas data.
  • the encoding method of the present disclosure can be performed by an encoding device (encoder).
  • the encoding device includes a memory and at least one processor connected to the memory, and the at least one processor can be configured to pre-process mesh data, encode a base mesh of the mesh data, encode displacement of the mesh data, and encode attributes of the mesh data.
  • Embodiments further include a computer-readable storage medium storing a bitstream generated by the method according to FIG. 19.
  • Embodiments further include a method comprising the steps of obtaining a bitstream for mesh data, the bitstream being generated based on the steps of encoding a basemesh of the mesh data, encoding a displacement of the mesh data, and encoding an attribute of the mesh data, and transmitting data including the bitstream.
  • Fig. 20 is a flowchart showing an example of a decoding method according to embodiments.
  • the decoding method according to embodiments may include a step of decoding a base mesh in a bitstream (S32011), a step of decoding a displacement in the bitstream (S32012), and a step of decoding an attribute in the bitstream (S32013).
  • the decoding step of Fig. 20 may further include a step of receiving a bitstream including a base mesh, displacement data, and attribute data, or a file in which a bitstream is encapsulated.
  • the receiving step performs a decapsulation process to extract a bitstream when a file is received, and omit the decapsulation process when a bitstream is received.
  • the step (S32011) of decoding the base mesh in the bitstream may, if the current mesh has been subjected to inter-screen encoding, use the previously decoded motion vector as a predictor to restore the final motion vector by adding it to the residual motion vector decoded from the base mesh bitstream.
  • the step (S32011) of decoding the base mesh in the bitstream may, if the current mesh has been subjected to intra-screen encoding, statically decode the base mesh bitstream to restore connection information, vertex geometry information, texture coordinates, normal information, etc. of the base mesh.
  • the step (S32012) of decoding displacement in the above bitstream performs decoding on the displacement bitstream based on the video codec if the displacement data is encoded based on a video codec, and performs decoding based on the arithmetic codec if the displacement data is encoded based on an arithmetic codec.
  • the step of decoding an attribute in the bitstream (S32013) restores attribute data by decoding the attribute bitstream based on a video codec.
  • the step of decoding an attribute (S32013) may restore attribute information (e.g., texture or texture map) of each vertex based on signaling information (or metadata) after the attribute bitstream is decoded.
  • the signaling information includes texture map index information for identifying a texture map to be referenced by each vertex and position information (e.g., UV coordinates) within the texture map.
  • the base mesh, displacement data, and attribute data decoded in steps S32011-S32013 can be rendered after undergoing post-processing such as mesh restoration and reconstruction.
  • the decoding method of the present disclosure can be performed by a decoding device (decoder).
  • the decoding device includes a memory and at least one processor connected to the memory, and the at least one processor can be configured to decode a basemesh within a bitstream, decode a displacement within the bitstream, and decode an attribute within the bitstream.
  • the present disclosure can reflect the temporal consistency of a video by referring to the mesh patch packing result of the previous frame when packing a mesh patch onto a 2D image. That is, when dividing a simplified mesh into mesh patch units and mapping it onto a 2D image, by referring to the mesh patch packing result of the previous frame, the most similar mesh patches can be mapped to similar positions, so that the texture coordinates regenerated based on the mapped positions can maintain similarity between screens. As a result, the texture map images regenerated based on the texture coordinates can have similar structures and shapes between frames, and when compressing this using a video codec, inter-screen prediction can be effectively applied, thereby achieving improved compression performance.
  • the texture map video compression performance can be improved, which is directly linked to the improved mesh content compression performance using V-Mesh.
  • the video bitstream occupies a very large portion of the encoded mesh bitstream, improving this can lower the resource occupancy required by the mesh system and reduce usage costs, thereby enabling more efficient mesh system operation and expanding the range of applications utilizing mesh.
  • the mesh patch packing method that reflects the mesh patch packing result of the previous frame has higher usability when the user directly creates and produces mesh content and transmits and utilizes it.
  • systems/platforms/services such as AR/hologram-based video conferencing systems that communicate in real time using 3D objects reflecting the user's appearance can be examples. In this way, the present disclosure can have the effect of enhancing the usability of V-Mesh.
  • the present disclosure can regenerate a texture map with high inter-frame image correlation (i.e., maximally reflecting temporal consistency) by reflecting inter-frame image similarity when generating texture coordinates of a simplified mesh. This can improve the compression performance of dynamic meshes of V-Mesh, and in particular, the compression performance of texture map videos of the mesh.
  • Each of the parts, modules, or units described above may be software, processors, or hardware parts that execute sequential execution processes stored in memory (or storage units). Each of the steps described in the embodiments described above may be performed by processors, software, or hardware parts. Each of the modules/blocks/units described in the embodiments described above may operate as a processor, software, or hardware.
  • the methods presented in the embodiments may be implemented as code. This code may be written on a processor-readable storage medium and thus may be read by a processor provided by an apparatus.
  • the devices and methods according to the embodiments are not limited to the configurations and methods of the embodiments described above, but the embodiments may be configured by selectively combining all or part of each embodiment so that various modifications can be made.
  • the various components of the devices of the embodiments may be implemented by hardware, software, firmware, or a combination thereof.
  • the various components of the embodiments may be implemented by a single chip, for example, a single hardware circuit.
  • the components according to the embodiments may be implemented by separate chips.
  • At least one of the components of the devices of the embodiments may be configured with one or more processors capable of executing one or more programs, and the one or more programs may perform, or include instructions for performing, one or more of the operations/methods according to the embodiments.
  • the executable instructions for performing the methods/operations of the devices of the embodiments may be stored in non-transitory CRMs or other computer program products configured to be executed by one or more processors, or may be stored in temporary CRMs or other computer program products configured to be executed by one or more processors.
  • the memory according to the embodiments may be used as a concept including not only volatile memory (e.g., RAM, etc.), but also non-volatile memory, flash memory, PROM, etc. Additionally, it may include implementations in the form of carrier waves, such as transmissions via the Internet.
  • processor-readable recording media may be distributed across network-connected computer systems, allowing processor-readable code to be stored and executed in a distributed manner.
  • Various elements of the embodiments may be implemented by hardware, software, firmware, or a combination thereof. Various elements of the embodiments may be implemented on a single chip, such as a hardware circuit. In some embodiments, the embodiments may optionally be implemented on separate chips. In some embodiments, at least one of the elements of the embodiments may be implemented within one or more processors that include instructions for performing operations according to the embodiments.
  • the operations according to the embodiments described in this document may be performed by a transceiver device including one or more memories and/or one or more processors according to the embodiments.
  • One or more memories may store programs for processing/controlling the operations according to the embodiments, and one or more processors may control various operations described in this document.
  • One or more processors may be referred to as a controller, etc.
  • the operations according to the embodiments may be performed by firmware, software, and/or a combination thereof, and the firmware, software, and/or a combination thereof may be stored in a processor or a memory.
  • first and second may be used to describe various components of the embodiments. However, the various components according to the embodiments should not be interpreted in a limited manner by these terms. These terms are merely used to distinguish one component from another. For example, a first user input signal may be referred to as a "second user input signal.” Similarly, a second user input signal may be referred to as a "first user input signal.” The use of these terms should be interpreted as not departing from the scope of the various embodiments. Although “first user input signal” and “second user input signal” are both user input signals, they do not necessarily mean the same user input signals unless the context clearly indicates otherwise.
  • the embodiments may be applied, in whole or in part, to mesh data transmission and reception devices and systems.
  • Those skilled in the art will appreciate that various modifications and variations may be made to the embodiments within the scope of the embodiments.
  • the embodiments may include modifications and variations, and such modifications and variations do not depart from the scope of the claims and their equivalents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

실시예들에 따른 메쉬 데이터 인코딩 방법은 입력되는 메쉬 데이터를 프리-프로세싱하는 단계, 상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩하는 단계, 상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩하는 단계, 및 상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하는 단계를 포함할 수 있다.

Description

메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
실시예들은 사용자에게 VR (Virtual Reality, 가상현실), AR (Augmented Reality, 증강현실), MR (Mixed Reality, 혼합현실), 및 자율 주행 서비스 등의 다양한 서비스를 제공하기 위하여 3D 콘텐츠를 제공하는 방안을 제공한다.
3D 콘텐츠 중 포인트 클라우드 데이터나 메쉬 데이터는 3D 공간 상의 포인트들의 집합이다. 그런데, 3D 공간 상의 포인트들의 양이 많아서 포인트 클라우드 데이터나 메쉬 데이터를 생성하기 어려운 문제점이 있다.
즉, 포인트 클라우드 데이터나 메쉬 데이터와 같이 포인트들의 양이 많은 3D 데이터를 전송하고 수신하기 위해서 많은 처리량이 요구되는 문제점이 있다.
실시예들에 따른 기술적 과제는, 전술한 문제점 등을 해결하기 위해서, 메쉬 데이터를 효율적으로 송수신하기 위한 장치 및 방법을 제공하는데 있다.
실시예들에 따른 기술적 과제는, 메쉬 데이터의 지연시간(latency) 및 인코딩/디코딩 복잡도를 해결하기 위한 장치 및 방법을 제공하는데 있다.
실시예들에 따른 기술적 과제는, 변위 벡터의 인코딩 및 디코딩을 효율적으로 수행하기 위한 장치 및 방법을 제공하는데 있다.
다만, 전술한 기술적 과제만으로 제한되는 것은 아니고, 본 문서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 기술적 과제로 실시예들의 권리범위가 확장될 수 있다.
상술한 목적 및 다른 이점을 달성하기 위해서 실시예들에 따른 인코딩 방법은 입력되는 메쉬 데이터를 프리-프로세싱하는 단계, 상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩하는 단계, 상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩하는 단계, 및 상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하는 단계를 포함할 수 있다.
실시예들에 따르면, 상기 프리-프로세싱하는 단계는, 상기 입력되는 메쉬 데이터가 다수의 텍스처 맵들을 포함하면, 상기 다수의 텍스처 맵들의 유사도를 기반으로 상기 다수의 텍스처 맵들의 배치를 재구성하는 단계를 포함할 수 있다.
실시예들에 따르면, 상기 재구성 단계는 상기 다수의 텍스처 맵들의 텍스처 맵 인덱스 정보의 순서를 바꿔서 상기 다수의 텍스처 맵들의 배치를 재구성할 수 있다.
실시예들에 따르면, 상기 다수의 텍스처 맵들은 하나의 프레임에 대응되며, 상기 프레임 내 각 정점을 위한 시그널링 정보는 해당 정점이 참조하는 텍스처 맵의 인덱스 정보와 상기 참조하는 텍스처 맵 내 위치 정보를 포함할 수 있다.
실시예들에 따르면, 상기 프리-프로세싱하는 단계는, 상기 다수의 텍스처 맵들을 포함하는 메쉬 데이터를 단순화하여, 단순화된 메쉬 데이터를 생성하는 단계, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하는 단계, 및 상기 텍스처 좌표를 갖는 단순화된 메쉬 데이터를 서브 디비전한 후 상기 입력 메쉬 데이터와 유사해지도록 핏팅을 수행하여 핏팅된 서브디비전된 메쉬 데이터를 생성하는 단계를 더 포함할 수 있다.
실시예들에 따르면, 상기 텍스처 좌표 생성 단계는, 상기 단순화된 메쉬 데이터를 구성하는 폴리곤 또는 정점 특성을 기준으로 유사 특성을 갖는 폴리곤 또는 정점들끼리 결합하여 분할을 수행하는 단계, 상기 단계에서 분할된 폴리곤 또는 정점들의 집합을 기반으로 현재 프레임의 매쉬 패치들을 생성하는 단계, 및 상기 현재 프레임의 메쉬 패치들을 메쉬 패치 패킹이 완료된 이전 프레임의 메쉬 패치 패킹 결과를 기반으로 2D 이미지 상에 패킹하여, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하는 단계를 포함할 수 있다.
실시예들에 따르면, 상기 패킹 단계는, 상기 이전 프레임의 메쉬 패치들 중 현재 프레임의 현재 메쉬 패치와 매칭되는 메쉬 패치가 있는지를 확인하는 단계, 및 상기 단계에서 매칭되는 메쉬 패치가 상기 이전 프레임에 있다고 확인되면, 상기 현재 메쉬 패치의 2D 이미지 상의 매핑 위치는 상기 이전 프레임 내 매칭된 메쉬 패치의 매핑 위치를 기반으로 결정하고, 상기 결정된 2D 이미지 상의 매핑 위치에 상기 현재 메쉬 패치를 패킹하는 단계를 포함할 수 있다.
실시예들에 따르면, 상기 메쉬 패치 매칭 확인 단계는, 상기 이전 프레임의 메쉬 패치들 중 상기 현재 메쉬 패치와 방향이 같고 메쉬 패치를 구성하는 폴리곤 및/또는 정점들의 개수가 유사하면, 해당 메쉬 패치는 상기 현재 메쉬 패치에 매칭된다고 판단할 수 있다.
실시예들에 따르면, 상기 어트리뷰트 데이터를 인코딩하는 단계는 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표와 상기 입력 메쉬 데이터의 각 정점의 텍스처 좌표를 기반으로 텍스처 좌표를 재생성하여 비디오 인코딩할 수 있다.
실시예들에 따르면, 인코딩 장치는 메모리와 상기 메모리에 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 입력되는 메쉬 데이터를 프리-프로세싱, 상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩, 상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩, 및 상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하도록 구성될 수 있다.
실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 입력되는 메쉬 데이터가 다수의 텍스처 맵들을 포함하면, 상기 다수의 텍스처 맵들의 유사도를 기반으로 상기 다수의 텍스처 맵들의 배치를 재구성할 수 있다.
실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 다수의 텍스처 맵들을 포함하는 메쉬 데이터를 단순화하여, 단순화된 메쉬 데이터를 생성하고, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하고, 및 상기 텍스처 좌표를 갖는 단순화된 메쉬 데이터를 서브 디비전한 후 상기 입력 메쉬 데이터와 유사해지도록 핏팅을 수행하여 핏팅된 서브디비전된 메쉬 데이터를 생성할 수 있다.
실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 단순화된 메쉬 데이터를 구성하는 폴리곤 또는 정점 특성을 기준으로 유사 특성을 갖는 폴리곤 또는 정점들끼리 결합하여 분할을 수행하고, 상기 단계에서 분할된 폴리곤 또는 정점들의 집합을 기반으로 현재 프레임의 매쉬 패치들을 생성하고, 및 상기 현재 프레임의 메쉬 패치들을 메쉬 패치 패킹이 완료된 이전 프레임의 메쉬 패치 패킹 결과를 기반으로 2D 이미지 상에 패킹하여, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성할 수 있다.
실시예들에 따르면, 컴퓨터 판독 가능한 저장매체는 상기 인코딩 방법에 의해 생성된 비트스트림을 저장할 수 있다.
실시예들에 따르면, 전송 방법은 메쉬 데이터에 대한 비트스트림을 획득하는 단계, 상기 비트스트림은 입력되는 원본 메쉬 데이터를 프리-프로세싱하는 단계; 상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩하는 단계; 상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩하는 단계; 및 상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하는 단계; 에 기초하여 생성됨; 및 상기 비트스트림을 포함하는 데이터를 전송하는 단계를 포함할 수 있다.
실시예들에 따른 메쉬 데이터 송신 방법, 메쉬 데이터 송신 장치, 메쉬 데이터 수신 방법, 및 메쉬 데이터 수신 장치는 퀄리티 있는 3D 서비스를 제공할 수 있다.
실시예들에 따른 메쉬 데이터 송신 방법, 메쉬 데이터 송신 장치, 메쉬 데이터 수신 방법, 및 메쉬 데이터 수신 장치는 다양한 비디오 코덱 방식을 달성할 수 있다.
실시예들에 따른 메쉬 데이터 송신 방법, 메쉬 데이터 송신 장치, 메쉬 데이터 수신 방법, 및 메쉬 데이터 수신 장치는 자율주행 서비스 등 범용적인 3D 콘텐츠를 제공할 수 있다.
실시예들에 따른 메쉬 데이터 송신 방법, 메쉬 데이터 송신 장치는 단순화된 메쉬의 텍스처 좌표를 생성할 때 프레임 간 이미지 유사성을 반영함으로써, 프레임 간 이미지 상관관계가 높은 텍스처 맵을 재생성할 수 있다. 이로 인해, V-Mesh의 다이나믹 메쉬의 압축 성능을 향상시킬 수 있으며, 특히 메쉬의 텍스처 맵 비디오의 압축 성능을 향상시킬 수 있다.
도면은 실시예들을 더욱 이해하기 위해서 포함되며, 도면은 실시예들에 관련된 설명과 함께 실시예들을 나타낸다. 이하에서 설명하는 다양한 실시예들의 보다 나은 이해를 위하여, 하기 도면들에 걸쳐 유사한 참조 번호들이 대응하는 부분들을 포함하는 다음의 도면들과 관련하여 이하의 실시예들의 설명을 반드시 참조해야 한다.
도 1의 (a), 도 1의 (b)는 실시예들에 따른 인코더와 디코더의 일 예시를 보인 도면이다.
도 2는 실시예들에 따른 다이나믹 메쉬(Dynamic Mesh) 콘텐츠 제공을 위한 시스템을 나타낸다.
도 3은 실시예들에 따른 V-MESH 압축 방법을 나타낸다.
도 4는 실시예들에 따른 V-MESH 압축의 프리-프로세싱을 나타낸다.
도 5는 실시예들에 따른 미드-엣지 서브디비전 방식을 나타낸다.
도 6은 실시예들에 따른 변위 생성 과정을 나타낸다.
도 7은 실시예들에 따른 메쉬 데이터의 인코딩 프로세스를 나타낸다.
도 8은 실시예들에 따른 변위에 대한 리프팅 변환 과정을 나타낸다.
도 9는 실시예들에 따른 변환 계수를 2D 이미지에 패킹하는 과정을 나타낸다.
도 10은 실시예들에 따른 V-MESH 압축 방법의 어트리뷰트 트랜스퍼 과정을 나타낸다.
도 11은 실시예들에 따른 메쉬 데이터의 디코딩 프로세스를 나타낸다.
도 12은 실시예들에 따른 송신 장치의 일 예시를 나타낸 도면이다.
도 13는 실시예들에 따른 수신 장치의 일 예시를 나타낸 도면이다.
도 14는 실시예들에 따른 다수의 어트리뷰트 정보를 갖는 다이나믹 메쉬 데이터의 일 예시를 보인 도면이다.
도 15는 실시예들에 따라 재생성된 텍스처 맵 비디오의 일 예시를 보인 도면이다.
도 16은 실시예들에 따른 파라미터라이제이션부의 상세 블록도의 일 예시를 보인 도면이다.
도 17은 실시예들에 따라 단순화된 메쉬를 구성하는 메쉬 패치들이 2D 이미지 상에 매핑된 일 예시를 보인 도면이다.
도 18은 실시예들에 따라 재생성된 텍스처 맵 비디오의 다른 예시를 보인 도면이다.
도 19는 실시예들에 따른 메쉬 데이터 인코딩 방법의 일 예시를 보인 흐름도이다.
도 20은 실시예들에 따른 메쉬 데이터 디코딩 방법의 일 예시를 보인 흐름도이다.
실시예들의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 실시예들의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 실시예들의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 실시예들에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함한다. 그러나 실시예들이 이러한 세부 사항 없이 실행될 수 있다는 것은 당업자에게 자명하다.
실시예들에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 실시예들은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.
최근 3차원 데이터 모델링 및 렌더링 기술이 발전함에 따라 가상현실 (Virtual Reality; VR), 증강현실 (Augmented Reality; AR), 자율 주행, CAD (Computer-Aided Design)/CAM (Computer-Aided Manufacturing), GIS (Geographic Information System) 등의 다양한 분야에서 3차원 데이터를 생성 및 처리하는 연구가 진행되고 있다. 3차원 데이터는 표현 형식에 따라 포인트 클라우드 (point cloud), 메쉬 (mesh) 등으로 나타낼 수 있다. 이 중 메쉬는 각 정점(vertex or point) 별의 좌표값을 표현하는 지오메트리 정보, 정점 간의 연결 관계를 나타내는 연결 정보, 메쉬 표면의 색상 정보를 2차원 영상 데이터로 표현하는 텍스처 맵, 메쉬의 표면과 텍스처 맵 간의 매핑 정보를 나타내는 텍스처 좌표 등으로 구성된다. 본 개시에서는 시간의 흐름에 따라 메쉬를 구성하는 요소 중 하나 이상이 변화하는 경우를 다이나믹(dynamic) 메쉬로 정의하고, 변화하지 않는 경우 스태틱(static) 메쉬로 정의한다. 즉, 다이나믹 메쉬 데이터는 물체 또는 움직임을 가지는 메쉬 데이터를 의미할 수 있다.
다이나믹 메쉬 데이터는 2차원 영상 데이터 대비 메쉬를 표현하기 위해 구성하는 요소의 데이터 양이 크기 때문에 거대한 양의 메쉬 데이터를 저장 및 전송하기 위해 이를 효율적으로 압축하는 기술이 발전해왔다.
도 1의 (a)와 도 1의 (b)는 실시예들에 따른 V-DMC 기반의 인코더 및 디코더를 나타낸다. 특히, 도 1의 (a)는 인코더를 나타내고, 도 1의 (b)는 디코더를 나타낸다.
현재 진행중인 V-DMC (v-mesh) 에 대한 기본 구조는 도 1의 (a)와 도 1의 (b)과 같다. 도 1의 (a)에 따른 인코더와 도 1의 (b)에 따른 디코더는 V3C(Visual Volumetric Video-based Coding) 기술을 이용하여 다이나믹 메쉬를 표현하는 미디어의 인코딩 및 디코딩 과정을 수행한다. 프리-프로세서는 입력 다이나믹 메쉬 표현을 여러 V3C 구성 요소(베이스 메쉬, 변위 세트, 어트리뷰트의 2D 표현 및 아틀라스)로 변환한다. 원본 메쉬는 베이스메쉬로 단순화된다. 베이스메쉬(basemesh)는 모든 메쉬 코덱을 사용하여 인코딩될 수 있다. 변위 벡터는 프로파일에 의해 표시되거나 SEI (supplemental enhancement information) 메시지를 기반으로 임의의 비디오 코덱을 사용하여 V3C 지오메트리 비디오 구성요소로 인코딩 될 수 있다. 예를 들어, 프로파일에 따라 변위 벡터(또는 변위 데이터라 함)는 비디오 코덱 기반 인코더, 제로 런 길이 인코더, 산술 인코더 등을 통해 인코딩될 수 있다. 어트리뷰트 데이터는 추가 어트리뷰트를 포함할 수 있다. 예를 들어, 추가 어트리뷰트로 텍스처 또는 재료 정보가 포함되고, 임의의 비디오 코덱 기반으로 인코딩될 수 있다. 아틀라스 데이터는 역 재구성을 수행하는 방법에 대한 정보를 포함하고, 수신 장치의 V3C(또는 v-mesh) 디코딩 및/또는 렌더링 시스템에 제공된다. 예를 들어, 아틀라스 데이터는 베이스 메쉬의 세분화를 수행하는 방법, 세분화된 메쉬 정점에 변위 벡터를 적용하는 방법, 재구성된 메쉬에 어트리뷰트를 적용하는 방법 등을 포함할 수 있다.
실시예들에 따른 인코더는 메모리 및 메모리에 연결된 적어도 하나의 프로세서로 구성될 수 있다. 적어도 하나의 프로세서는 프리-프로세서, 아틀라스 인코딩부, 베이스메쉬 인코딩부, 변위 벡터 인코딩부, 비디오 인코딩부, 멀티플렉서 등의 동작을 수행하도록 구성될 수 있다.
아틀라스 인코딩부는 메쉬 데이터의 아틀라스를 인코딩하여 아틀라스 비트스트림을 생성한다. 베이스메쉬 인코딩부는 메쉬 데이터의 베이스메쉬를 인코딩하여 베이스메쉬 비트스트림을 생성한다. 변위 벡터 인코딩부는 메쉬 데이터의 변위 벡터를 인코딩하여 변위 벡터 비트스트림을 생성한다. 비디오 인코딩부는 메쉬 데이터의 어트리뷰트를 인코딩하여 어트리뷰트 비트스트림을 생성한다. 실시예들에 따른 인코더는 각 인코딩에 관련된 파라미터 정보(시그널링 정보, 메타데이터 등으로 지칭 가능함)을 생성할 수 있다. 실시예들에 따른 인코더는 파라미터 정보, 아틀라스, 베이스메쉬, 변위 벡터, 및/또는 어트리뷰트 등을 포함하는 압축된 비트스트림을 생성할 수 있다.
실시예들에 따른 디코더는 메모리 및 메모리에 연결된 적어도 하나의 프로세서로 구성될 수 있다. 적어도 하나의 프로세서는 디멀티플렉서, 아틀라스 디코딩부, 베이스메쉬 디코딩부, 변위 벡터 디코딩부, 비디오 디코딩부 등의 동작을 수행하도록 구성될 수 있다.
아틀라스 디코딩부는 비트스트림 내 아틀라스를 디코딩한다. 베이스메쉬 디코딩부는 비트스트림 내 베이스메쉬를 디코딩한다. 변위 벡터 디코딩부는 비트스트림 내 변위 벡터를 디코딩한다. 비디오 디코딩부는 비트스트림 내 어트리뷰트를 디코딩한다. 실시예들에 따른 디코더는 비트스트림 내 파라미터 정보에 기반하여 각 디코딩 동작을 수행할 수 있다. 실시예들에 따른 디코더에서 베이스메쉬 프로세싱부는 아틀라스 및/또는 파라미터 정보에 기반하여 상기 디코딩된 베이스메쉬로부터 현재 베이스메쉬를 복원한다. 실시예들에 따른 디코더에서 변위 프로세싱부는 아틀라스 및/또는 파라미터 정보에 기반하여 상기 디코딩된 변위벡터의 좌표계 변환 등을 수행하여 변위벡터를 복원한다. 실시예들에 따른 디코더에서 메쉬 복원부에서는 아틀라스 및/또는 파라미터 정보에 기반하여 복원된 베이스메쉬와 복원된 변위벡터를 결합하여 최종 메쉬를 복원한다. 실시예들에 따른 디코더의 복원 메쉬 프로세싱부는 상기 복원된 최종 메쉬에 상기 디코딩된 어트리뷰트 (또는 텍스처 맵이라 함)를 결합하여 재구성된 다이나믹 메쉬 영상을 생성하고 렌더링할 수 있다. 즉, 재구성된 다이나믹 메쉬 영상이 사용자에게 보여질 수 있다.
이하에서, 도 1의 V-DMC 인코더 및 디코더의 동작을 보다 상세히 설명한다.
도 2는 실시예들에 따른 다이나믹 메쉬(Dynamic Mesh) 콘텐츠 제공을 위한 시스템을 나타낸다.
도 2의 시스템은 실시예들에 따른 송신 장치(100) 및 수신 장치(110)를 포함한다. 송신 장치(100)는 메쉬 비디오 획득부(101), 메쉬 비디오 인코더(102), 파일/세그먼트 인캡슐레이터(103), 및 트랜스미터(104)를 포함할 수 있다. 수신 장치(110)는 수신부(111), 파일/세그먼트 디캡슐레이터(112), 메쉬 비디오 디코더(113), 및 렌더러(114)를 포함할 수 있다. 도 2의 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응할 수 있다. 이하에서, 실시예들에 따른 메쉬 데이터 송신 장치는 3D 데이터 송신 장치 또는 송신 장치(100)를 지칭하거나, 메쉬 비디오 인코더(이하, 인코더)(102)를 지칭하는 용어로 해석될 수 있다. 실시예들에 따른 메쉬 데이터 수신 장치는 3D 데이터 수신 장치 또는 수신 장치(110)를 지칭하거나, 메쉬 비디오 디코더(이하, 디코더)(113)를 지칭하는 용어로 해석될 수 있다.
도 2의 시스템은 비디오 기반 다이나믹 메쉬 컴프레션(Video-based Dynamic Mesh Compression) 및 디컴프레션을 수행할 수 있다.
3D 캡처, 모델링 및 렌더링의 발전으로, 사용자는 여러 플랫폼과 장치에서 AR, XR, 메타버스, 홀로그램과 같이 다양한 형태의 3D 콘텐츠를 사용할 수 있다. 3D 콘텐츠들은 사용자가 몰입형 경험을 즐길 수 있도록 보다 정교하고 리얼하게 대상을 표현하고 있으며, 이를 위해 3D 모델의 생성 및 사용에는 많은 양의 데이터가 필요하다. 여러가지 형태의 3D 콘텐츠 타입들 중 3D 메쉬(Mesh)는 효율적인 데이터 활용 및 실감 있는 객체 표현을 위해 널리 사용된다. 실시예들은 이러한 메쉬(Mesh) 콘텐츠를 사용하는 시스템에서의 일련의 처리 과정을 포함한다.
먼저, 다이나믹 메쉬(dynamic mesh) 데이터를 압축하는 방법은 포인트 클라우드 데이터를 위한 V-PCC (Video-based point cloud compression) 표준 기술에서 시작된다. 포인트 클라우드(Point cloud) 데이터는 정점 (vertex or point)의 좌표 (X, Y, Z)에 색상 정보를 가지고 있는 데이터들이다. 본 개시에서 정점의 좌표(즉, 위치 정보)는 지오메트리 정보라 칭하고, 정점의 색상 정보는 어트리뷰트 정보라 칭하며, 지오메트리 정보와 어트리뷰트 정보를 포함하여 정점 정보 또는 포인트 클라우드 데이터라 칭한다. 이 정점 정보에 정점들간의 연결 정보(connectivity information)가 추가되어 있는 것이 메쉬(mesh) 데이터를 의미한다. 콘텐츠를 생성할 때 처음부터 메쉬(mesh) 데이터 형태로 만들어질 수 있다. 또는 포인트 클라우드(point cloud) 데이터에 연결 정보를 추가하여 메쉬(mesh) 데이터로 변환하여 사용될 수 있다.
현재 MPEG 표준 단체에서 다이나믹 메쉬(dynamic mesh) 데이터의 데이터 타입은 아래의 두 가지 타입으로 정의되어 있다.
카테고리1: 색상정보로 텍스처맵을 갖는 메쉬(mesh) 데이터.
카테고리2: 색상정보로 정점 색상을 갖는 메쉬(mesh) 데이터.
현재 카테고리1 데이터에 대한 메쉬 코딩(Mesh coding) 표준이 진행되고 있고, 카테고리2 데이터 표준 작업도 추후 진행될 예정이다. 메쉬(Mesh) 콘텐츠 서비스를 제공하기 위한 전체의 과정은 도 2에서 보이는 바와 같이 획득 과정, 인코딩 과정, 전송 과정, 디코딩 과정, 렌더링 과정 및/또는 피드백 과정을 포함할 수 있다.
메쉬(Mesh) 콘텐츠 서비스를 제공하기 위해, 다수의 카메라 혹은 특수 카메라를 통해 획득된 3차원 데이터는 일련의 과정을 통해 메쉬(Mesh) 데이터 타입으로 가공된 후 비디오로 생성될 수 있다. 생성된 메쉬(Mesh) 비디오는 일련의 과정을 거쳐 전송되고, 수신단에서는 수신된 데이터를 다시 메쉬(Mesh) 비디오로 가공하여 렌더링 할 수 있다. 이를 통해 메쉬(Mesh) 비디오가 사용자에게 제공되며 사용자는 상호작용을 통해 의도에 따라 메쉬(Mesh) 콘텐츠를 사용할 수 있다.
메쉬 컴프레션(Mesh compression) 시스템은 도 2에서와 같이 송신 장치(100) 및 수신 장치(110)를 포함할 수 있다. 송신 장치(100)는 메쉬(Mesh) 비디오를 인코딩하여 비트스트림을 출력할 수 있으며, 이를 파일 또는 스트리밍 (스트리밍 세그먼트) 형태로 디지털 저장매체 또는 네트워크를 통해 수신 장치(110)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다.
상기 송신 장치(100)에서 인코더는 메쉬(Mesh) 비디오/영상/픽처/프레임 인코딩 장치라고 불릴 수 있고, 상기 수신 장치(110)에서 디코더는 메쉬(Mesh) 비디오/영상/픽처/프레임 디코딩 장치라고 불릴 수 있다. 송신기는 메쉬(Mesh) 비디오 인코더에 포함될 수 있다. 수신기는 메쉬(Mesh) 비디오 디코더에 포함될 수 있다. 렌더러(114)는 디스플레이부를 포함할 수도 있고, 렌더러 및/또는 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다. 상기 송신 장치(100) 및 수신 장치(110)는 피드백 과정을 위한 별도의 내부 또는 외부의 모듈/유닛/컴포넌트를 더 포함할 수도 있다.
메쉬(Mesh) 데이터는 객체의 표면을 다수의 다각형으로 표현한다. 각 다각형은 3차원 공간에서의 정점과, 그 정점들이 어떻게 연결되어 있는 지를 나타내는 연결 정보로 정의된다. 또한 정점의 색상, 법선 등과 같은 정점 어트리뷰트들도 포함할 수 있다. 메쉬(Mesh)의 표면을 2D 평면 영역에 매핑(mapping)할 수 있도록 하는 매핑 정보 역시 메쉬(Mesh)의 어트리뷰트에 포함될 수 있다. 매핑은 일반적으로 메쉬(Mesh) 정점과 관련된 UV 좌표 또는 텍스처 좌표라고 하는 매개변수 좌표 세트로 설명될 수 있다. 메쉬(Mesh) 는 2D 어트리뷰트 맵을 포함하고 있는데, 이것은 텍스처, 법선(normal), 변위(displacement) 등과 같은 고해상도 어트리뷰트 정보를 저장하는 데 사용될 수 있다. 여기서, 변위는 변위 정보 또는 변위 벡터와 동일한 의미로 혼용되어 사용될 수 있다.
메쉬(Mesh) 비디오 획득부(101)에서는 카메라 등을 통해 획득된 3차원 객체 데이터를 일련의 과정을 통해 위에서 설명한 어트리뷰트를 갖는 메쉬(Mesh) 데이터 타입으로 가공하고 이러한 메쉬(Mesh) 데이터로 구성된 비디오를 생성하는 것을 포함할 수 있다. 메쉬(Mesh) 비디오는 시간에 따라 메쉬(Mesh) 의 어트리뷰트, 즉 정점, 다각형, 정점 간 연결 정보, 색상, 법선 등의 정보가 변할 수 있다. 이렇게 시간에 따라 변하는 어트리뷰트 및 연결 정보를 갖는 메쉬(Mesh) 비디오를 다이나믹(dynamic) 메쉬(Mesh) 비디오라고 표현할 수 있다.
메쉬(Mesh) 비디오 인코더(102)는 입력 메쉬(Mesh) 비디오를 하나 이상의 비디오 스트림으로 인코딩할 수 있다. 하나의 비디오는 다수의 프레임을 포함할 수 있으며, 하나의 프레임은 정지 영상/픽처에 대응될 수 있다. 본 문서에서, 메쉬(Mesh) 비디오라 함은 메쉬(Mesh) 영상/프레임/픽처를 포함할 수 있으며, 메쉬(Mesh) 비디오는 메쉬(Mesh) 영상/프레임/픽처와 혼용되어 사용될 수 있다. 메쉬(Mesh) 비디오 인코더(102)는 Video-based Dynamic Mesh (V-Mesh) Compression 절차를 수행할 수 있다. 메쉬(Mesh) 비디오 인코더(102)는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화, 엔트로피 코딩 등의 일련의 절차를 수행할 수 있다. 인코딩된 데이터 (인코딩된 비디오/영상 정보)는 비트스트림 (bitstream) 형태로 출력될 수 있다.
파일/세그먼트 인캡슐레이터(file/segment encapsulation module)(103)는 인코딩된 메쉬(Mesh) 비디오 데이터 및/ 메쉬(Mesh) 비디오 관련 메타데이터를 파일 등의 형태로 인캡슐레이션할 수 있다. 여기서 메쉬(Mesh) 비디오 관련 메타데이터는 메타데이터 처리부 등으로부터 전달받은 것일 수 있다. 메타데이터 처리부는 메쉬(Mesh) 비디오 인코더(102)에 포함될 수도 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 파일/세그먼트 인캡슐레이터(103)는 해당 데이터들을 ISOBMFF 등의 파일 포맷으로 인캡슐레이션하거나, 기타 DASH 세그먼트 등의 형태로 처리할 수 있다. 파일/세그먼트 인캡슐레이터(103)는 실시예에 따라 메쉬(Mesh) 비디오 관련 메타데이터를 파일 포맷 상에 포함시킬 수 있다. 메쉬(Mesh) 비디오 메타데이터는 예를 들어 ISOBMFF 파일 포맷 상의 다양한 레벨의 박스 (box)에 포함되거나 파일 내에서 별도의 트랙내의 데이터로 포함될 수 있다. 실시예에 따라, 파일/세그먼트 인캡슐레이터(103)는 메쉬(Mesh) 비디오 관련 메타데이터 자체를 파일로 인캡슐레이션할 수 있다.
전송 처리부는 파일 포맷에 따라 인캡슐레이션된 메쉬(Mesh) 비디오 데이터에 전송을 위한 처리를 가할 수 있다. 전송 처리부는 전송부(104)에 포함될 수도 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 전송 처리부는 임의의 전송 프로토콜에 따라 메쉬(Mesh) 비디오 데이터를 처리할 수 있다. 전송을 위한 처리에는 방송망을 통한 전달을 위한 처리, 브로드밴드를 통한 전달을 위한 처리를 포함할 수 있다. 실시예에 따라 전송 처리부는 메쉬(Mesh) 비디오 데이터뿐 아니라, 메타데이터 처리부로부터 메쉬(Mesh) 비디오 관련 메타데이터를 전달받아, 이것에 전송을 위한 처리를 가할 수도 있다.
전송부(104)는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 장치(110)의 수신부(111)로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(104)는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신부(111)는 상기 비트스트림을 추출하여 디코딩 장치로 전달할 수 있다.
수신부(111)는 메쉬(Mesh) 데이터 송신 장치가 전송한 메쉬(Mesh) 비디오 데이터를 수신할 수 있다. 전송되는 채널에 따라 수신부(111)는 방송망을 통하여 메쉬(Mesh) 비디오 데이터를 수신할 수도 있고, 브로드밴드를 통하여 메쉬(Mesh) 비디오 데이터를 수신할 수도 있다. 혹은 디지털 저장 매체를 통하여 메쉬(Mesh) 비디오 데이터를 수신할 수도 있다.
수신 처리부는 수신된 메쉬(Mesh) 비디오 데이터에 대해 전송 프로토콜에 따른 처리를 수행할 수 있다. 수신 처리부는 수신부(111)에 포함될 수 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 전송측에서 전송을 위한 처리가 수행된 것에 대응되도록, 수신 처리부는 전술한 전송 처리부의 역과정을 수행할 수 있다. 수신 처리부는 획득한 메쉬(Mesh) 비디오 데이터는 파일/세그먼트 디캡슐레이터(112)로 전달하고, 획득한 메쉬(Mesh) 비디오 관련 메타데이터는 메타데이터 파서로 전달할 수 있다. 수신 처리부가 획득하는 메쉬(Mesh) 비디오 관련 메타데이터는 시그널링 테이블의 형태일 수 있다.
파일/세그먼트 디캡슐레이터(112)는 수신 처리부로부터 전달받은 파일 형태의 메쉬(Mesh) 비디오 데이터를 디캡슐레이션할 수 있다. 파일/세그먼트 디캡슐레이터(112)는 ISOBMFF 등에 따른 파일들을 디캡슐레이션하여, Mesh 비디오 비트스트림 내지 메쉬(Mesh) 비디오 관련 메타데이터 (메타데이터 비트스트림)를 획득할 수 있다. 획득된 메쉬(Mesh) 비디오 비트스트림은 메쉬(Mesh) 비디오 디코더(113)로, 획득된 메쉬(Mesh) 비디오 관련 메타데이터 (메타데이터 비트스트림)는 메타데이터 처리부로 전달할 수 있다. 메쉬(Mesh) 비디오 비트스트림은 메타데이터(메타데이터 비트스트림)를 포함할 수도 있다. 메타데이터 처리부는 메쉬(Mesh) 비디오 디코더(113)에 포함될 수도 있고, 또는 별도의 컴포넌트/모듈로 구성될 수도 있다. 파일/세그먼트 디캡슐레이터(112)가 획득하는 메쉬(Mesh) 비디오 관련 메타데이터는 파일 포맷 내의 박스 혹은 트랙 형태일 수 있다. 파일/세그먼트 디캡슐레이터(112)는 필요한 경우 메타데이터 처리부로부터 디캡슐레이션에 필요한 메타데이터를 전달받을 수도 있다. 메쉬(Mesh) 비디오 관련 메타데이터는 메쉬(Mesh) 비디오 디코더(113)에 전달되어 메쉬(Mesh) 비디오 디코딩 절차에 사용될 수도 있고, 또는 렌더러(114)에 전달되어 메쉬(Mesh) 비디오 렌더링 절차에 사용될 수도 있다.
메쉬(Mesh) 비디오 디코더(113)는 비트스트림을 입력받아 메쉬(Mesh) 비디오 인코더(102)의 동작에 대응하는 역동작을 수행하여 비디오/영상을 디코딩할 수 있다. 디코딩된 메쉬(Mesh) 비디오/영상은 렌더러(114)의 디스플레이부를 통하여 디스플레이될 수 있다. 사용자는 VR/AR 디스플레이 또는 일반 디스플레이 등을 통하여 렌더링 된 결과의 전부 또는 일부 영역을 볼 수 있다.
피드백 과정은 렌더링/디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하거나 수신측의 디코더에 전달하는 과정을 포함할 수 있다. 피드백 과정을 통해 메쉬(Mesh) 비디오 소비에 있어 인터랙티비티 (interactivity) 가 제공될 수 있다. 실시예에 따라, 피드백 과정에서 헤드 오리엔테이션 (Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트 (Viewport) 정보 등이 전달될 수 있다. 실시예에 따라, 사용자는 VR/AR/MR/자율주행 환경 상에 구현된 것들과 상호작용 할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 과정에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 과정은 수행되지 않을 수도 있다.
헤드 오리엔테이션 정보는 사용자의 머리 위치, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 메쉬(Mesh) 비디오 내에서 보고 있는 영역에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.
뷰포트 정보는 현재 사용자가 메쉬(Mesh) 비디오에서 보고 있는 영역에 대한 정보일 수 있다. 이를 통해 게이즈 분석 (Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 메쉬(Mesh) 비디오를 소비하는지, 메쉬(Mesh) 비디오의 어느 영역을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR/AR/MR 디스플레이 등의 장치는 사용자의 머리 위치/방향, 장치가 지원하는 수직 (vertical) 혹은 수평 (horizontal) FOV 등에 근거하여 뷰포트 영역을 추출할 수 있다.
실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것뿐 아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 렌더링 과정 등이 수행될 수 있다. 예를 들어, 헤드 오리엔테이션 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 영역에 대한 메쉬(Mesh) 비디오만 우선적으로 디코딩 및 렌더링 될 수도 있다.
본 문서는 상술한 바와 같이 다이나믹 메쉬(Mesh) 비디오 압축의 실시예들에 관한 것이다. 본 문서에서 개시된 방법/실시예는 MPEG (Moving Picture Experts Group)의 Video-based Dynamic Mesh 압축 방법 (V-Mesh) 표준 또는 차세대 비디오/이미지 코딩 표준에 적용될 수 있다. 다이나믹 메쉬(Mesh) 비디오 압축은 시간에 따라 변하는 Mesh 연결 정보 및 어트리뷰트들을 처리하기 위한 방법이며, 이것은 실시간 통신, 저장, 자유 시점 비디오, AR/VR과 같은 다양한 어플리케이션을 위한 손실 및 무손실 압축을 수행할 수 있다.
이하에 기술된 다이나믹 메쉬 비디오 압축 방법은 MPEG의 V-Mesh 방법에 기반한다.
이 문서에서 픽처(picture)/프레임(frame)은 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미할 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 루마(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 크로마(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있고, 또는 뎁스(depth) 성분의 픽셀/픽셀값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
전술한 바와 같이 도 2의 인코딩 프로세스(Encoding Process)는 다음과 같다.
즉, 비디오 기반 다이나믹 메쉬 컴프레션(Video-based dynamic mesh compression)(V-Mesh) 압축 방법은 HEVC (High Efficiency Video Coding), VVC(Versatile Video Coding) 등의 2D 비디오 코덱을 기반으로 다이나믹 메쉬(Mesh) 비디오 데이터를 압축하는 방법을 제공할 수 있다. V-Mesh 압축 과정에서는 다음과 같은 데이터를 입력으로 받아 압축을 수행한다.
입력 메쉬(Input mesh): 메쉬(Mesh)를 구성하는 정점들의 3차원 좌표, 각 정점의 법선 정보, 메쉬(Mesh) 표면을 2D 평면에 매핑하는 매핑 정보, 표면을 구성하는 정점들 간의 연결 정보 등을 포함하고 있다. 메쉬(Mesh)의 표면은 삼각형 또는 그 이상의 다각형으로 표현될 수 있으며 정해진 형태에 따라 각 표면을 구성하는 정점들 간 연결 정보가 저장되어 있다. 입력 메쉬(Input mesh)는 OBJ 파일 포맷으로 저장될 수 있다.
어트리뷰트 맵(Attribute map): (이하 텍스쳐 맵(Texture map)도 같은 의미로 사용됨): 메쉬(Mesh)의 어트리뷰트 (색상, 법선, 변위 등) 정보를 포함하고 있으며, 메쉬(Mesh)의 표면을 2D 이미지 상에 매핑한 형태로 데이터를 저장하고 있다. 이 어트리뷰트 맵(Attribute map)의 각 데이터가 메쉬(Mesh)의 어느 부분(표면 혹은 정점)에 해당되는지 매핑하는 것은 입력 메쉬(Input mesh)에 포함되어 있는 매핑 정보를 바탕으로 한다. 어트리뷰트 맵(Attribute map)은 메쉬(Mesh) 비디오의 각 프레임에 대한 데이터를 갖고 있기 때문에 어트리뷰트 맵(Attribute map) 비디오라고도 표현할 수 있다. V-Mesh 압축 방법에서의 어트리뷰트 맵(Attribute map)은 메쉬(Mesh)의 색상 정보를 주로 갖고 있으며, 이미지 파일 포맷 (PNG, BMP 등)으로 저장된다.
머터리얼 라이브러리 파일(Material Library File): 메쉬(Mesh)에서 사용되는 머터리얼(Material) 어트리뷰트 정보를 포함하고 있으며, 특히 입력 메쉬(Mesh)와 이에 대응하는 어트리뷰트 맵(Attribute map)을 연결해주는 정보를 포함한다. 이것은 웨이브프론트 머터리얼 템플릿 라이브러리(Wavefront Material Template Library) (MTL) 파일 포맷으로 저장된다.
V-Mesh 압축 방법에서 압축 과정을 통해 다음과 같은 데이터 및 정보들이 생성될 수 있다.
베이스 메쉬(Base mesh): 프리-프로세싱(pre-processing) 과정을 거쳐 입력 메쉬(Input mesh)를 단순화 (Decimation)함으로써, 사용자의 기준에 따라 정해진 최소한의 정점을 이용하여 입력 메쉬(Input mesh)의 객체를 표현한다.
변위(Displacement): 베이스 메쉬(Base mesh)를 이용하여 입력 메쉬(Input mesh)를 최대한 유사하게 하기 표현하기 위해 사용되는 변위 정보로, 3차원 좌표 형태로 표현된다.
아틀라스 정보(Atlas information): 베이스 메쉬(Base mesh), 변위(Displacement) 및 어트리뷰트 맵(Attribute map) 정보를 이용하여 메쉬(Mesh)를 재구성하기 위해 필요한 메타데이터이다. 이것은 메쉬(Mesh)를 구성하는 서브 단위(sub-mesh, patch 등)로 생성되고 활용될 수 있다.
도 3 내지 도 7을 참조하여, 메쉬 위치 정보(또는 버텍스 위치 정보)를 인코딩하는 방법을 설명하고, 도 7 내지 도 10 등을 참조하여 메쉬 위치 정보를 복원하여 어트리뷰트 정보(어트리뷰트 맵)을 인코딩하는 방법을 설명한다.
도 3은 실시예들에 따른 V-MESH 압축 방법을 나타낸다.
도 3은 도 2의 인코딩 과정을 나타내며, 인코딩 과정은 프리-프로세싱 과정 및 인코딩 과정을 포함할 수 있다. 도 2의 메쉬 비디오 인코더(102)는 도 3과 같이 프리-프로세서(200) 및 인코더(201)를 포함할 수 있다. 또한, 도 2의 송신 장치가 넓게 인코더로 지칭될 수 있고, 도 2의 메쉬 비디오 인코더(102)가 인코더로 지칭될 수 있다. V-Mesh 압축 방법은 도 3과 같이 프리-프로세싱 과정(Pre-processing, 200)과 인코딩 과정(Encoding, 201)을 포함할 수 있다. 도 3의 프리-프로세서(200)는 도 3의 인코더(201) 앞 단에 위치할 수 있다. 도 3의 프리-프로세서(200) 및 인코더(201)를 포함하여 하나의 인코더로 지칭할 수 있다.
프리-프로세서(200)는 다이나믹 메쉬의 스태틱(static of dynamic mesh)(M(i)) 및/또는 어트리뷰트 맵(A(i))을 수신할 수 있다. 프리-프로세서(200)는 프리-프로세싱을 통해 베이스 메쉬(m(i)) 및/또는 변위(d(i))를 생성할 수 있다. 프리-프로세서(200)는 인코더(201)로부터 피드백 정보를 수신하여, 피드백 정보에 기초하여 베이스 메쉬 및/또는 변위를 생성할 수 있다.
인코더(201)는 베이스 메쉬(m(i)), 변위(d(i)), 다이나믹 메쉬의 스태틱(M(i)), 및/또는 어트리뷰트 맵(A(i))을 수신할 수 있다. 본 개시에서 베이스 메쉬(m(i)), 변위(d(i)), 다이나믹 메쉬의 스태틱(M(i)), 및/또는 어트리뷰트 맵(A(i)) 중 적어도 하나를 포함하여 메쉬 관련 데이터라 칭할 수 있다. 인코더(201)는 메쉬 관련 데이터를 인코딩하여 압축된 비트스트림을 생성할 수 있다.
도 4는 실시예들에 따른 V-MESH 압축의 프리-프로세싱 과정을 나타낸다.
도 4는 도 3의 프리-프로세서의 구성 및 동작을 나타낸다. 도 4에서 입력 메쉬는 다이나믹 메쉬의 스태틱(static of dynamic mesh)(M(i)) 및/또는 어트리뷰트 맵(A(i))를 포함할 수 있다. 또한, 입력 메쉬는 메쉬를 구성하는 정점들의 3차원 좌표, 각 정점의 법선 정보, Mesh 표면을 2D 평면에 매핑하는 매핑 정보, 표면을 구성하는 정점들 간의 연결 정보 등을 포함할 수 있다.
도 4는 입력 메쉬(mesh)에 대해 프리-프로세싱을 수행하는 과정을 보여준다. 프리-프로세싱 과정(200)은 크게 4단계로, 1) GoF (Group of Frame) 생성(generation), 2) 메쉬 단순화(Mesh Decimation), 3) UV 파라미터라이제이션(parameterization), 4) 핏팅 서브디비전 서페이스(Fitting subdivision surface, 300)를 포함할 수 있다. 실시예들에 따르면, GoF 생성은 GoF 생성 과정 또는 GoF 생성부라 칭하고, 메쉬 단순화는 메쉬 단순화 과정 또는 메쉬 단순화부라 칭하고, UV 파라미터라이제이션은 UV 파라미터라이제이션 과정 또는 UV 파라미터라이제이션부라 칭하며, 핏팅 서브디비전 서페이스는 핏팅 서브디비전 서페이스 과정 또는 핏팅 서브디비전 서페이스부라 칭할 수 있다. 프리-프로세서(200)는 수신되는 입력 메쉬로부터 변위 및/또는 베이스 메쉬를 생성하여, 인코더(201)로 전달할 수 있다. 프리-프로세서(200)는 GoF생성과 연관된 GoF정보를 인코더(201)로 전달할 수 있다.
이하에서, 도 4의 각 단계를 설명한다.
GoF 생성(Generation): 메쉬(Mesh) 데이터의 참조 구조를 생성하는 과정이다. 이전 프레임의 메쉬(mesh)와 현재 메쉬(mesh)의 정점 개수, 텍스처 좌표 개수, 정점 연결 정보, 텍스처 좌표 연결 정보가 모두 동일한 경우에는 이전 프레임을 참조 프레임으로 설정할 수 있다. 즉, 현재 입력 메쉬(Input mesh)와 참조 입력 메쉬(Input mesh)간 정점 좌표 값만 다른 경우, 인코더(201)는 인터 프레임 인코딩(inter frame encoding)을 수행할 수 있다. 그렇지 않으면 해당 프레임에 대해 인트라 프레임 인코딩(Intra frame encoding)을 수행한다.
메쉬 단순화(Mesh Decimation): 입력 메쉬(Input mesh)를 단순화시켜 간략화된 메쉬(mesh), 즉 베이스 메쉬(Base mesh)를 생성하는 과정이다. 원본 메쉬(mesh)에서 사용자가 정의한 기준에 따라 제거할 정점을 선택한 후, 선택된 정점 및 선택된 정점과 연결된 삼각형들을 제거할 수 있다.
메쉬 단순화(Mesh decimation)를 수행하는 과정에서 복셀화된 입력 메쉬(Input mesh (voxelized)), 타겟 트라이앵글 비율(Target triangle ratio (TTR)), 미니멈 트라이앵글 컴포넌트(Minimum triangle component (CCCount)) 정보가 입력으로 전달되고, 출력으로 단순화된 메쉬(Decimated mesh)를 구할 수 있다. 이 과정에서 설정된 미니멈 트라이앵글 컴포넌트(CCCount)보다 작은 연결된 트라이앵글 컴포넌트(connected triangle components)를 제거할 수 있다.
UV 파라미터라이제이션(parameterization): 단순화된 메쉬(Decimated mesh)에 대해 3D 곡면을 텍스쳐 도메인(Texture domain)으로 매핑하는 과정이다. UV아틀라스 툴(UVAtlas tool)을 사용하여 파라미터라이제이션(Parameterization)을 수행할 수 있다. 이 과정을 통해 단순화된 메쉬(Decimated mesh)의 각 정점들이 2D 이미지 상의 어느 위치로 매핑될 수 있는지 매핑 정보가 생성된다. 매핑 정보는 텍스처 좌표로 표현되어 저장되며, 이 과정을 통해 최종 베이스 메쉬(Base mesh)가 생성된다.
orthoAtlas 기술은 직교 투영 (orthographic projection)을 사용하여 텍스처 좌표를 생성하는 기술이다. orthoAtlas 기술은 패치를 생성하는 과정과 패치를 패킹하는 과정이 순차적으로 수행된다. 먼저 인접한 삼각형끼리 분할하여 Connected Component (CC)를 생성한 후, 비용 함수를 통해 최적의 CC를 병합하여 패치를 생성하는 과정이 수행된다. 비용 함수는 각 방향으로 패치를 직교 투영할 때 발생하는 왜곡 정도를 기준으로 비용을 측정할 수 있다. 비용 함수가 최소가 되는 패치를 텍스처 도메인에 패킹시킴으로써 최종적으로 텍스처 좌표를 계산할 수 있다. orthoAtlas 기술인 경우, 베이스 메쉬 인코딩 과정에서 텍스처 좌표 및 텍스처 연결 정보를 압축하지 않고, 베이스 메쉬 디코더에서 텍스처 좌표를 유도할 수 있다.
핏팅 서브디비전 서페이스(Fitting subdivision surface)(300): 단순화된 메쉬(Decimated mesh)(즉, 텍스쳐 좌표를 갖는 단순화된 메쉬)에 대해 세분화(Subdivision)를 수행하는 과정이다. 이 과정을 통해 생성된 변위와 베이스 메쉬가 인코더(201)로 출력된다. 서브디비전(Subdivision) 방법으로 미드-엣지(Mid-edge) 방식 등 사용자가 정한 방법이 적용될 수 있다. 입력 메쉬(Input mesh)와 서브디비전(Subdivision)을 수행한 메쉬(mesh) 간 서로 유사해지도록 핏팅(fitting)을 하는 과정이 수행된다. 본 개시는 핏팅 과정이 수행된 메쉬를 핏팅된 서브디비전된 메쉬(또는 핏팅 서브디비전된 메쉬)라 칭하기로 한다. 이 과정은 베이스메쉬에 서브디비전(Subdivision)을 수행한 메쉬(mesh)가 입력 메쉬의 표면과 서로 유사해지도록 핏팅(fitting)을 수행하는 과정이다. 서브디비전 방법으로는 미드-엣지(Mid-edge) 방식 (도5 참조), Loop 방식, LS3 방식 등 사용자가 정한 방법이 적용될 수 있다.
도 5는 실시예들에 따른 미드-엣지 서브디비전 방식을 나타낸다.
도 5는 도 4에서 설명한 핏팅 서브디비전 서페이스의 미드-엣지(Mid-edge) 방식을 나타낸다. 도 5를 참조하면, 버텍스 4개를 포함하는 오리지널 메쉬가 서브디비전되어 서브-메쉬가 생성된다. 버텍스 간 엣지의 중간을 새로운 버텍스로 생성하여 서브 메쉬를 생성할 수 있다. 그리고, 입력 메쉬와 서브 메쉬가 서로 유사해지도록 핏팅 과정이 수행되어 핏팅 서브디비전된 메쉬가 생성된다.
핏팅(Fitting)된 서브디비전된 메쉬(subdivided mesh) (이하, 핏팅 서브디비전된 메쉬(fitted subdivided mesh))가 생성되면 이 결과와 미리 압축 및 디코딩된 베이스 메쉬(Base mesh) (이하, 복원된 베이스 메쉬(reconstructed base mesh))를 이용하여 변위(Displacement)가 계산된다. 즉, 복원된 베이스 메쉬(Reconstructed base mesh)는 핏팅 서브디비전 서페이스(Fitting subdivision surface)의 방법과 동일하게 서브디비전(Subdivision)된다. 이 결과와 핏팅 서브디비전된 메쉬(Fitted subdivided mesh)의 각 정점 별 위치 차이는 곧 각 정점에 대한 변위(Displacement)가 된다. 변위(Displacement)는 3차원 공간 상의 위치 차이를 나타내기 때문에 역시 데카르트(Cartesian) 좌표계의 (x, y, z) 공간에서의 값으로 표현된다. 사용자 입력 파라미터에 따라 (x, y, z) 좌표값은 로컬 좌표 시스템(Local coordinate system)의 (노멀, 탄젠셜, 바이-탄젠셜((normal, tangential, bi-tangential)) 좌표값으로 변환될 수 있다.
도 6은 실시예들에 따른 변위 생성 과정을 나타낸다. 도 6의 변위 생성 과정은 프리-프로세서(200)에서 수행될 수도 있고, 또는 인코더(201)에서 수행될 수도 있다.
도 6은 도 5에서 설명한 바와 같이, 핏팅 서브디비전 서페이스부(Fitting subdivision surface, 300)의 변위 계산 방식을 상세히 나타낸다.
실시예들에 따른 인코더 및/또는 프리-프로세서는 1) 서브디비전부, 2) 로컬 좌표 시스템 계산부, 3) 변위 계산부를 포함할 수 있다. 서브디비전부는 복원된 베이스 메쉬에 서브디비전을 수행하여, 서브디비전된 복원된 베이스 메쉬를 생성할 수 있다. 여기서, 베이스 메쉬의 복원은 프리-프로세서(200)에서 수행될 수도 있고, 또는 인코더(201)에서 수행될 수도 있다. 로컬 좌표 시스템 계산부는 핏팅된 서브디비전된 메쉬 및 서브디비전된 복원된 베이스 메쉬를 수신하고, 이들을 기반으로 메쉬에 관한 좌표 시스템을 로컬 좌표 시스템으로 변환할 수 있다. 로컬 좌표 시스템 계산 동작은 선택적일 수 있다. 변위 계산부는 핏팅된 서브디비전 메쉬 및 서브디비전된 복원된 베이스 메쉬 간 위치 차이를 계산한다. 예를 들어, 입력한 두 가지 메쉬의 정점 간 위치 차이 값을 생성할 수 있다. 정점 위치 차이값이 변위가 된다.
실시예들에 따른 메쉬 데이터 송신 방법 및 장치는 메쉬 데이터를 다음과 같이 인코딩할 수 있다. 메쉬 데이터는 포인트 클라우드 데이터를 포함하는 용어이다. 실시예들에 따른 포인트 클라우드 데이터(줄여서 포인트 클라우드로 지칭 가능함)는 정점 좌표(또는 지오메트리 정보라 함) 및 색상 정보(또는 어트리뷰트 정보라 함)를 포함하는 데이터를 지칭할 수 있다. 또한, 정점 좌표와 색상 정보를 기반으로 패치 생성, 패킹을 통해 생성된 지오메트리 이미지, 어트리뷰트 이미지, 어큐판시 맵, 및 부가 정보(또는 패치 정보라 함)도 포인트 클라우드 데이터라 칭한다. 그러므로, 연결 정보를 포함하는 포인트 클라우드 데이터를 메쉬 데이터라 칭할 수 있다. 본 문서에서 포인트 클라우드 및 메쉬 데이터는 서로 혼용되어 사용될 수 있다.
실시예들에 따른 V-Mesh 압축(복원) 방법은 인트라 프레임 인코딩(Intra frame encoding)과 인터 프레임 인코딩(Inter frame encoding)을 포함할 수 있다.
전술한 GoF 제너레이션의 결과를 바탕으로 인트라 프레임 인코딩(Intra frame encoding) 혹은 인터 프레임 인코딩(Inter frame encoding)이 수행된다. 인트라 인코딩(Intra encoding)인 경우 압축 대상 데이터는 베이스 메쉬(Base mesh), 변위(Displacement), 어트리뷰트 맵(Attribute map) 등이 될 수 있다. 인터 인코딩(Inter encoding)인 경우 압축 대상 데이터는 변위(Displacement), 어트리뷰트 맵(Attribute map), 그리고 참조 베이스 메쉬(base mesh)와 현재 베이스 메쉬(base mesh) 간의 모션 필드(motion field) 등이 될 수 있다.
도 7은 실시예들에 따른 V-DMC 인코딩 프로세스를 나타낸다.
도 7 에 도시된 송신 장치의 엘리먼트들은 하드웨어, 소프트웨어, 메모리에 연결된 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 즉, 도 7의 송신 장치의 엘레멘트들은 도면에 도시되지 않았으나 하나 또는 그 이상의 메모리들과 통신 가능하도록 설정된 하나 또는 그 이상의 프로세서들 또는 집적 회로들(integrated circuits)을 포함하는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 하나 또는 그 이상의 프로세서들은 상술한 도 7의 송신 장치의 엘레멘트들의 동작들 및/또는 기능들 중 적어도 어느 하나 이상을 수행할 수 있다. 또한 하나 또는 그 이상의 프로세서들은 도7의 송신 장치의 엘레멘트들의 동작들 및/또는 기능들을 수행하기 위한 소프트웨어 프로그램들 및/또는 인스트럭션들의 세트를 동작하거나 실행할 수 있다. 도 7에서 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.
본 개시에서 V-Mesh 압축 기술을 이용한 다이나믹 메쉬 데이터의 압축 및 전송을 위한 송신단의 동작 과정은 도 7과 같을 수 있다. 도 7의 송신 장치는 인트라 프레임 인코딩(또는 인트라 인코딩 또는 화면 내 인코딩이라 함) 프로세스 및/또는 인터 프레임 인코딩(또는 인터 인코딩 또는 화면간 인코딩이라 함) 프로세스를 모두 지원할 수 있다.
도 7의 인코딩 프로세스는 도 2의 메쉬 비디오 인코더(102)의 인코딩을 상세하게 나타낸다. 도 7의 인코더는 프리-프로세서(200) 및/또는 인코더(201)을 포함할 수 있다. 도 7의 프리-프로세서(200)와 인코더(201)는 도 4의 프리-프로세서(200)와 인코더(201)에 해당할 수 있다.
프리-프로세서(200)는 입력 메쉬를 수신하고, 전술한 프리-프로세싱을 수행할 수 있다. 프리-프로세싱을 통해 베이스 메쉬 및/또는 핏팅된 서브디비전된 메쉬를 생성할 수 있다.
인코더(201)의 양자화기(411)는 베이스 메쉬 및/또는 핏팅된 서브디비전된 메쉬를 양자화할 수 있다.
실시예들에 따르면, 메쉬 양자화부(411)에서 양자화된 베이스 메쉬는 스위칭부(412)를 통해 스태틱 메쉬 인코더(413) 또는 모션 벡터 인코더(414)로 출력될 수 있다. 실시예들에 따르면, 베이스 메쉬는 해당 메쉬 프레임에 대해 화면간 인코딩 (Inter encoding)을 수행하는 경우 스위칭부(412)를 통해 모션 벡터 인코더(414)로 출력되고, 해당 메쉬 프레임에 대해 화면내 인코딩(Intra encoding)을 수행하는 경우 스위칭부(412)를 통해 스태틱 메쉬 인코더(413)로 출력된다. 모션 벡터 인코더(414)는 모션 인코더로 지칭될 수 있다.
예를 들어, 해당 메쉬 프레임에 대해 화면내 인코딩(Intra encoding or intra frame encoding)을 수행하는 경우, 베이스 메쉬는 스태틱 메쉬 인코더(413)를 통해 압축될 수 있다. 이 경우 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 정점 텍스처 정보, 노말 정보 등에 대해 인코딩이 수행될 수 있다. 즉, 메쉬의 정점 좌표, 정점 연결 정보, 텍스처 좌표, 텍스처 연결 정보 등이 스태틱 메쉬 인코더(413)에서 인코딩될 수 있다. 인코딩을 통해 생성된 베이스 메쉬 비트스트림은 멀티플렉서(도시되지 않음)로 전송된다.
다른 예로, 해당 메쉬 프레임에 대해 화면간 인코딩(Inter encoding or inter frame encoding)을 수행하는 경우, 모션 벡터 인코더(414)는 현재 베이스 메쉬와 참조 복원 베이스 메쉬(또는 복원된 양자화된 참조 베이스 메쉬, reconstruced quantized reference base mesh)를 입력으로 받아, 두 메쉬 간의 모션 벡터를 계산하고 그 값을 인코딩할 수 있다. 또한, 모션 벡터 인코더(414)는 이전에 인코딩/디코딩 된 모션 벡터를 예측자로 사용하여 연결 정보 기반의 예측을 수행하고, 현재 모션 벡터에서 예측 모션 벡터를 뺀 차분 모션 벡터(또는 잔차 모션 벡터라 함)를 엔트로피 인코딩할 수 있다. 실시예들에 따라 모션 벡터 인코딩은 정점 단위 또는 서브 그룹 단위로 수행될 수 있다. 모션 벡터 인코딩을 통해 생성된 모션 벡터 비트스트림은 베이스 메쉬 비트스트림으로서 멀티플렉서(도시되지 않음)로 전송된다. 즉, 화면 내 인코딩일 경우 스태틱 메쉬 비트스트림이 베이스 메쉬 비트스트림으로서 멀티플렉서로 입력되고, 화면 간 인코딩일 경우 모션 벡터 비트스트림이 베이스 메쉬 비트스트림으로서 멀티플렉서로 입력된다.
도 7에서 베이스 메쉬 복원부(415)는 스태틱 메쉬 인코더(413)에서 인코딩된 베이스 메쉬 또는 모션 벡터 인코더(414)에서 인코딩된 모션 벡터를 입력받아 복원된 베이스 메쉬(reconstructed base mesh)를 생성할수 있다. 베이스 메쉬 복원부(415)는 현재 메쉬의 인코딩 타입(화면간 인코딩 또는 화면내 인코딩)에 따라 베이스 메쉬의 복원을 수행한다. 예를 들어, 베이스 메쉬 복원부(415)는 스태틱 메쉬 인코더(413)에서 인코딩된 베이스 메쉬에 대해 스태틱 메쉬 디코딩을 수행하여 베이스 메쉬를 복원할 수 있다. 이때, 스태틱 메쉬 디코딩 전에 양자화를 적용하고, 스태틱 메쉬 디코딩 후에 역양자화부(416)에서 역양자화를 적용할 수 있다. 즉, 화면내 인코딩이 수행되는 경우 메쉬 양자화부(411)를 통해 양자화된 베이스 메쉬에 대해 역양자화부(416)에서 역양자화를 수행하여 현재 베이스 메쉬를 복원할 수 있다. 다른 예로, 베이스 메쉬 복원부(415)는 복원된 양자화된 참조 베이스 메쉬와 모션 벡터 인코더(414)에서 인코딩된 모션 벡터에 기초하여 베이스 메쉬를 복원할 수 있다. 즉, 화면간 인코딩이 수행되는 경우, 모션 벡터 디코딩 방법으로 모션 벡터를 디코딩한 후 참조 복원 베이스 메쉬에 디코딩된 모션 벡터를 적용하여(즉, 더하여) 현재 베이스 메쉬를 생성할 수 있다. 이때, 모션 벡터가 양자화 되지 않는 경우 모션 벡터 복원 과정이 생략되고 모션 벡터 인코더(414)에서 계산된 모션 벡터를 사용하여 현재 베이스 메쉬를 복원할 수 있다. 복원된 베이스 메쉬는 변위 벡터 계산부(417)와 메쉬 복원부(425)로 출력된다.
실시예들에 따르면, 변위 벡터 계산부(417)는 복원된 베이스 메쉬에 대해서 메쉬 세분화를 수행할 수 있다. 또한, 변위 벡터 계산부(417)는 세분화된 복원된 베이스 메쉬와 프리-프로세서(200)에서 생성된 핏팅된 서브디비전(또는 세분화)된 메쉬 간의 정점 위치 차이 값인 변위 벡터(displacement vector)를 계산할 수 있다. 즉, 변위 벡터는 핏팅된 서브디비전(또는 세분화)된 메쉬가 원본 메쉬와 유사해지도록 두 메쉬의 정점 간 위치 차이이다. 이때, 서브디비전된 메쉬의 정점 개수만큼 변위 벡터가 계산될 수 있다. 즉, 변위 벡터 계산부(417)를 통해 서브디비전(세분화)된 메쉬의 정점 개수의 변위 벡터가 계산될 수 있다.
리프팅 변환부(418)는 입력되는 변위 벡터에 대해 리프팅 변환을 수행하여 리프팅 계수(또는 변위벡터 변환계수라 함)를 생성할 수 있다. 양자화기(419)는 리프팅 계수 즉, 변위벡터 변환계수를 양자화할 수 있다.
본 개시에서 변위 벡터 또는 양자화된 변위벡터 변환계수는 2D 비디오 코덱 기반 인코딩 방법, 및/또는 제로 런 길이 인코딩 방법 및/또는 산술 인코딩 방법 등을 통해 인코딩할 수 있다.
만일, 산술 인코딩 방법을 사용한다면, 변위 벡터 또는 양자화된 변위벡터 변환계수는 인터 예측부(420)에서 인터 예측 후 산술 인코딩부(421)에서 산술 코덱 기반으로 인코딩되고, 2D 비디오 코덱 기반 인코딩 방법을 사용한다면 변위 벡터 또는 양자화된 변위벡터 변환계수는 이미지 패킹부(422)에서 이미지 패킹 후 비디오 인코딩부(423)에서 2D 비디오 코덱 기반으로 인코딩되어 변위 비트스트림(즉, compressed displacement bitstream)으로 출력될 수 있다. 일 예로, 이미지 패킹부(422)는 양자화된 리프팅 계수(즉, 변위벡터 변환계수)에 기초하여 이미지를 패킹할 수 있다. 비디오 인코딩부(423)는 패킹된 이미지를 인코딩할 수 있다. 즉, 양자화된 리프팅 계수는 이미지 패킹부(422)에 의해 2D 이미지로 한 프레임에 패킹되고, 비디오 인코딩부(423)를 통해 압축되어 변위 비트스트림(즉, compressed displacement bitstream)으로 출력된다.
변위 벡터 복원부(424)는 비디오 디코더, 이미지 언패킹부, 역양자화기, 역 리니어 리프팅부를 포함할 수 있다. 즉, 변위 벡터 복원부(424)는 인코딩된 변위 벡터에 대해 비디오 디코더에서 디코딩을 수행하고, 이미지 언패킹부에서 이미지 언패킹을 수행하며, 역양자화기에서 역양자화를 수행한 후 역 리니어 리프팅부에서 역변환을 수행하여 변위 벡터를 복원한다. 복원된 변위 벡터는 메쉬 복원부(425)으로 출력된다. 메쉬 복원부(425)는 베이스 메쉬 복원부(415)에서 복원된 베이스 메쉬와 변위 벡터 복원부(424)에서 복원된 변위 벡터를 기반으로 변형된 메쉬를 복원한다. 즉, 메쉬 복원부(425)는 변위 벡터 복원부(424)에서 출력되는 복원된 변위와 역양자화부(416)에서 출력되는 복원된 베이스 메쉬(또는 서브디바이드된 복원된 베이스 메쉬라 함)를 통해 재구성되고 변형된 메쉬를 복원한다. 본 개시는 재구성되고 변형된 메쉬를 복원된 변형된 메쉬라 칭한다. 복원된 메쉬(또는 복원된 변형된 메쉬라 함)는 복원된 정점, 정점 간 연결 정보, 텍스처 좌표 및 텍스처 좌표 간 연결 정보 등을 갖고 있다.
어트리뷰트 트랜스퍼(426)는 입력 메쉬 및/또는 입력 어트리뷰트 맵을 수신하고, 복원된 변형된 메쉬에 기초하여 어트리뷰트 맵을 재생성한다. 어트리뷰트 맵은 메쉬 데이터 구성 요소 중 어트리뷰트 정보에 해당하는 텍스쳐 맵을 의미하며, 본 개시에서 어트리뷰트 맵과 텍스쳐 맵은 서로 혼용하여 사용될 수 있다. 푸쉬-풀 패딩(427)은 푸쉬-풀 방식에 기초하여 어트리뷰트 맵에 데이터를 패딩할 수 있다. 컬러 스페이스 변환부(428)는 어트리뷰트 맵의 컬러 성분의 스페이스를 변환할 수 있다. 예를 들어, 어트리뷰트 맵은 RGB 컬러 스페이스에서 YUV 컬러 스페이스로 변환될 수 있다. 비디오 인코딩부(429, 또는 비디오 인코더라 칭함)는 어트리뷰트 맵을 인코딩하여 압축된 어트리뷰트 비트스트림으로 출력할 수 있다.
실시예들에 따르면, 아틀라스 인코더(430)는 아틀라스 정보(또는 아틀라스 데이터라 함)를 인코딩하여 압축된 아틀라스 비트스트림을 생성할 수 있다. 그리고, 아틀라스 정보 인코딩을 통해 생성된 아틀라스 비트스트림은 멀티플렉서(431)로 전송된다. 본 개시에서 아틀라스는 메쉬 복원 프로세스(mesh reconstruction process)에서 필요한 정보일 수 있고, 타일, 패치 등의 정보를 의미할 수 있다. 또한, 아틀라스 정보는 3D 오브젝트에 대한 2D 매핑, 텍스쳐 매핑 관련 정보, 메쉬 디코딩, 메쉬 복원 등의 과정에서 필요한 데이터를 의미할 수 있고, 세분화 방법, 변환 방법, 양자화 방법, 아틀라스 프레임 내 패치의 위치 및 크기 등 부가적인 정보를 포함할 수 있다. 본 개시에서 아틀라스 정보는 아틀라스 인코더(430)의 Exp-Golomb coding 등을 통해 인코딩될 수 있다.
실시예들에 따르면, 멀티플렉서(430)는 입력되는 압축된 베이스 메쉬 비트스트림, 압축된 변위(또는 변위 벡터라 함) 비트스트림, 압축된 어트리뷰트(또는 텍스처 맵이라 함) 비트스트림, 및 압축된 아틀라스 비트스트림을 다중화하여 하나의 압축된 비트스트림을 생성할 수 있다. 상기 다중화된 비트스트림은 파일의 하나 이상의 트랙으로 인캡슐레이션될 수 있다.
실시예들에 따르면, 멀티플렉서(431)에서 다중화된 비트스트림 또는 파일은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
정리하면, 베이스메쉬의 경우, 베이스 메쉬 타입(INTRA type, INTER type, SKIP type)에 따라나누어 각각 다른 방식으로 인코딩이 수행될 수 있다. 베이스 메쉬가 INTRA 타입인 경우, 스태틱 메쉬 인코딩 방식을 통해 인코딩될 수 있다. 베이스 메쉬가 INTER 타입인 경우, 참조 base mesh와 현재 base mesh 간의 모션 필드를 인코딩할 수 있다. 현재 베이스 메쉬가 SKIP 타입인 경우, 참조 베이스 메쉬를 현재 베이스 메쉬로 유도할 수 있다.
인코더에시 인코딩된 후, 기 디코딩된 베이스 메쉬는 세분화 과정을 통해 세분화된 메쉬를 구할 수 있다. 세분화 알고리즘은 mid-point subdivision, loop subdivision 등의 알고리즘이 사용될 수 있다.
스태틱 베이스 메쉬 인코딩(인트라 베이스 메쉬 인코딩): 현재 basemesh에 대해 Intra encoding을 수행하는 경우, 프리-프로세싱 과정에서 생성된 Base mesh는 양자화 과정을 거친 후 스태틱 메쉬 압축 기술을 사용하여 인코딩될 수 있다. 스태틱 메쉬 압축은 MPEG EdgeBreaker (MEB) 기술이 적용되고, Base mesh의 정점 위치 정보, 매핑 정보(텍스처 좌표), 정점 연결 정보, normal (법선) 등이 압축 대상이 된다.
연결 정보는 edgebreaker 알고리즘을 기반으로 인코딩되어 압축될 수 있다. edgebreaker 알고리즘은 규칙에 따라 삼각형을 순차적으로 순회하면서 각 삼각형의 특성에 따라 심볼을 매핑시킨 후, 해당 심볼을 인코딩하는 기술이다.
정점 위치 정보를 압축하는 기술은 다중 평행사변형 예측 (multiple parallelogram)과 같은 예측 기술을 기반으로 예측 값을 구한 후, 현재 정점과 예측 값 간의 차이인 잔차 값을 인코딩할 수 있다.
매핑 정보 (텍스처 좌표)를 압축하는 기술은 stretch와 같은 예측 기술을 기반으로 예측 값을 구한 후, 현재 매핑 정보 (텍스처 좌표)와 예측 값 간의 차이인 잔차 값을 인코딩할 수 있다.
법선을 압축하는 기술은 델타 코딩 (delta coding), 다중 평행사변형 예측 (multiple parallelogram), cross product 기반 예측과 같은 예측 기술을 기반으로 예측 값을 구한 후, 현재 법선과 예측 값 간의 차이인 잔차 값을 인코딩할 수 있다.
모션 필드 인코딩(인터 베이스메쉬 인코딩): Inter basemesh encoding은 참조 메쉬(Mesh)와 현재 입력 메쉬(Input mesh) 간 일대일 대응 관계가 성립되고, 정점의 위치 정보만 다를 경우에 수행될 수 있다. Inter encoding을 수행하는 경우에는, Base mesh를 압축하는 대신 참조 Base mesh와 현재 Base mesh의 정점 간 차이, 즉 모션 필드(motion field)를 계산하여 이 정보를 인코딩할 수 있다. 참조 Base mesh는 이미 디코딩된 Base mesh 데이터를 양자화 한 결과이며 참조 프레임 인덱스에 따라 결정된다.
모션 필드(Motion field)는 값 그대로 인코딩될 수도 있고 또는, 현재 정점과 연결된 정점들 중 복원된 정점들의 Motion field를 평균하여 예측된 모션 필드(Predicted motion field)를 계산하고, 이 Predicted motion field 값과 현재 정점의 Motion field 값의 차이인 잔차 모션 필드(Residual motion field)가 인코딩될 수도 있다. 이 값은 Entropy coding을 이용하여 인코딩될 수 있다.
변위 인코딩: Base mesh 인코딩 후 복원 및 역양자화를 거쳐 Recon. base mesh가 생성되고 이에 대해 Subdivision을 수행한 결과와, Fitted subdivided mesh 간의 변위를 계산할 수 있다. 효과적인 인코딩을 위해 Wavelet transform과 같은 Data transform 과정이 Displacement 정보에 적용될 수 있으며, 도 8은 V-Mesh에서 리프팅 변환을 사용하여 변위 정보를 변환하는 과정을 보여준다. 변환 과정을 거쳐 생성된 변위벡터 변환계수들은 양자화를 수행한 후, 양자화된 변환 계수들은 압축 방법에 따라 비디오 코덱을 통해 압축될 수도 있고, 산술 인코딩을 통해 압축될 수도 있다.
비디오 코덱을 통해 압축되는 경우, 도 9에서와 같이 2D 이미지에 패킹 (Packing)된다. 변환 계수들은 N^2(N*N)개 단위마다 하나의 블록으로 구성되고, 각 블록은 z-scan order로 패킹 될 수 있다. 블록의 가로 개수는 N개로 고정하되, 블록의 세로 개수는 Subdivided base mesh의 정점 개수에 따라 결정될 수 있다. 하나의 블록 내에서는 Morton code로 정렬하여 변환 계수를 패킹 할 수 있다. 패킹 된 이미지들은 GoF 단위마다 Displacement video를 생성, 이 Displacement video는 기존의 비디오 압축 코덱을 이용하여 인코딩할 수 있다.
산술 인코딩을 통해 압축되는 경우, 양자화된 변위 벡터 변환 계수에 대해 화면 간 예측이 수행될 수 있다. 현재 양자화된 변위 벡터 변환 계수에 화면 간 예측이 수행되는 경우, 현재 변위 벡터 변환 계수와 참조 변위 벡터 변환 계수 간 차이인 잔차 값을 인코딩할 수 있고, 참조 대상에 대한 정보를 인코딩할 수 있다. 변위 벡터 타입에 따라 INTRA 타입인 경우, 양자화된 변위 벡터 변환 계수를, INTER 타입인 경우, 잔차값을 산술 인코딩할 수 있다. 산술 인코딩 시, 문맥 적응형 이진 산술 인코딩 (CABAC, Context Adaptive Binary Arithmetic Coding)를 기반으로 수행될 수 있다. CABAC 프로세스는 먼저 변위 벡터 데이터를 이진화하여 bin string에 매핑시킬 수 있다. Bin string은 0과 1로 이진화된 출력일 수 있고, 각 0 또는 1은 bin일 수 있다. 각 bin은 context model (문맥 모델)에서 선택된 context 정보를 이용하여 산술 인코딩할 수 있고, 확률을 업데이트하는 과정이 수행될 수 있다.
도 8은 실시예들에 따른 변위에 대한 리프팅 변환 과정을 나타낸다.
도 9는 실시예들에 따른 변환 계수(또는 리프팅 계수라 함)를 2D 이미지에 패킹하는 과정을 나타낸다.
도 8과 도 9는 도 7의 인코딩 프로세스의 변위를 변환하는 과정 및 변환 계수를 패킹하는 과정을 각각 나타낸다.
실시예들에 따른 인코딩 방법은 변위 인코딩(Displacement encoding)을 포함한다.
베이스 메쉬 인코딩 및/또는 모션 필드 인코딩 후 복원 및 역양자화를 거쳐 복원된 베이스 메쉬(Recon. base mesh)가 생성되고, 이 복원된 베이스 메쉬에 서브디비전(Subdivision)을 수행한 결과와, 핏팅 서브디비전 서페이스를 통해 생성된 핏팅된 서브디비전된 메쉬(Fitted subdivided mesh)간의 변위(Displacement)를 계산할 수 있다(도 7의 417). 효과적인 인코딩을 위해 웨이브릿 변환(Wavelet transform)과 같은 데이터 변환(Data transform) 과정이 변위(Displacement) 정보에 적용될 수 있다(도 7의 418).
도 8은 도 7의 리프팅 변환부(418)에서 리프팅 변환(Lifting transform)을 사용하여 변위정보를 변환하는 과정을 보여준다. 예를 들어, 선형 웨이블릿 기반의 리프팅 변환이 수행될 수 있다. 변환 과정을 거쳐 생성된 변환 계수들은 양자화기(419)에서 양자화 후, 이미지 패킹부(422)를 통해 도 9에서와 같이 2D 이미지에 패킹 (Packing)된다. 변환 계수들은 256 (=16×16)개 단위마다 하나의 블록으로 구성되고, 각 블록은 z스캔 순서(z-scan order)로 패킹될 수 있다. 블록의 가로 개수는 16개로 고정하되, 블록의 세로 개수는 서브디비전된 베이스 메쉬(Subdivided base mesh)의 정점 개수에 따라 결정될 수 있다. 하나의 블록 내에서 몰톤 코드(Morton code)로 정렬하여 변환 계수를 패킹할 수 있다. 패킹 된 이미지들은 GoF 단위마다 변위 비디오(Displacement video)를 생성하고, 이 변위 비디오(Displacement video)는 비디오 인코딩부(423, 또는 비디오 인코더라 칭함)에서 기존의 비디오 압축 코덱을 이용하여 인코딩될 수 있다.
도 8을 참조하면, 베이스 메쉬(original)는 LoD(Level Of detail) 0에 대한 버텍스 및 엣지를 포함할 수 있다. 베이스 메쉬를 분할(또는 세분화)하여 생성된 제1서브디비전 메쉬는 베이스 메쉬의 엣지를 추가 분할(또는 세분화)하여 생성된 버텍스를 포함한다. 제1서브디비전 메쉬는 LoD0에 대한 버텍스 및 LoD1에 대한 버텍스를 포함한다. LoD1은 서브디비전된 버텍스 및 베이스 메쉬의 버텍스(LoD0)를 포함한다. 제1서브디비전 메쉬를 다시 분할(또는 세분화)하여 제2서브디비전 메쉬를 생성할 수 있다. 제2서브디비전 메쉬는 LoD2를 포함한다. LoD2는 베이스 메쉬 버텍스(LoD0), LoD0에서 추가로 분할(또는 세분화)된 버텍스를 포함하는 LoD1, LoD1에서 추가로 분할(또는 세분화)된 버텍스를 포함한다. LoD는 메쉬 데이터 콘텐트의 상세한 정도를 나타내는 레벨(Level of Detail, LoD)이고, 레벨의 인덱스가 커질수록 버텍스 간 거리는 가까워지고, 상세도 레벨은 증가한다. 즉, LoD 값이 작을 수록 메쉬 데이터 콘텐트의 디테일이 떨어지고, LoD 값이 클 수록 메쉬 데이터 콘텐트의 디테일이 높음을 나타낸다. LoD N는 이전 LoDN-1에 포함된 버텍스들을 그대로 포함한다. 서브디비전을 통해 메쉬(또는 버텍스)가 추가로 분할되는 경우, 이전 버텍스v1, v2 및 서브디비전된 버텍스v를 고려하면, 메쉬를 예측 및/또는 업데이트 방식에 기초하여 인코딩할 수 있다. 현재 LoD N에 대한 정보를 그대로 인코딩하는 대신에 이전 LoD N-1 간 잔차값(Residual)을 생성하여 잔차값을 통해 메쉬를 인코딩하여 비트스트림의 사이즈를 줄일 수 있다. 예측 프로세스는 이전 버텍스v1, v2를 통해서 현재 버텍스v를 예측하는 동작을 의미한다. 인접한 서브디비전 메쉬 간 서로 유사한 데이터를 가지기 때문에 이러한 속성을 이용하여 효율적인 인코딩을 할 수 있다. 현재 버텍스 위치 정보를 이전 버텍스 위치 정보에 대한 잔차로 예측하고, 잔차를 통해 이전 버텍스 위치 정보를 업데이트한다. 본 개시에서 버텍스, 정점, 포인트는 동일한 의미로 사용될 수 있다. 그리고, LoD들은 베이스 메쉬의 세분화 과정에서 정의될 수 있다. 실시예들에 따르면, 베이스 메쉬의 세분화 과정은 프리-프로세서(200)에서 수행되거나 또는 별도의 컴포넌트/모듈에서 수행될 수도 있다.
도 9를 참조하면, 버텍스는 리프팅 변환을 통해 생성된 변환 계수(또는 리프팅 계수라 함)를 가진다. 리프팅 변환 관련 버텍스의 변환 계수는 이미지 패킹부(422)에 의해 이미지에 패킹된 후 비디오 인코딩부(423)에 의해 인코딩될 수 있다.
도 10은 실시예들에 따른 V-MESH 압축 방법의 어트리뷰트 트랜스퍼 과정을 나타낸다.
실시예들에 따르면, 도 10은 도 7의 어트리뷰트 트랜스퍼(426)의 상세 동작을 나타낸다.
실시예들에 따른 인코딩은 어트리뷰트 맵 인코딩(Attribute map encoding)을 포함한다. 실시예들에 따르면, 어트리뷰트 맵 인코딩은 도 7의 비디오 인코딩부(429)에서 수행될 수 있다.
실시예들에 따르면, 본 개시에서 인코더는 베이스 메쉬 인코딩(즉, 인트라 인코딩), 모션 필드 인코딩(즉, 인터 인코딩), 변위 인코딩을 통해 입력 메쉬(Input mesh)에 대한 정보를 압축한다. 인코딩(Encoding) 과정에서 압축된 입력 메쉬(Input mesh)는 베이스 메쉬 디코딩(인트라 프레임)(Base mesh decoding (Intra frame)), 모션 필드 디코딩(인터 프레임))(Motion field decoding (Inter frame)), 변위 비디오 디코딩(Displacement video decoding) 과정을 거쳐 복원되며, 그 복원된 결과인 복원된 변형된 메쉬(Reconstructed deformed mesh) (이하 Recon. deformed mesh로 표현)는 도 7과 같이 입력 어트리뷰트 맵(Input attribute map)을 압축하는 데에 사용된다. 복원된 변형된 메쉬(Recon. deformed mesh)는 정점의 위치 정보와 텍스처 좌표, 그에 대응하는 연결 정보는 갖고 있지만 텍스처 좌표에 대응하는 색상 정보는 갖고 있지 않은 상태이다. 따라서 도 10과 같이, V-Mesh 압축 방법에서는 어트리뷰트 트랜스퍼(426)의 어트리뷰트 트랜스퍼(Attribute transfer) 과정을 통해, 복원된 변형된 메쉬(Recon. deformed mesh)의 텍스처 좌표에 상응하는 색상 정보를 갖는 새로운 어트리뷰트 맵(Attribute map)을 재생성한다.
실시예들에 따르면, 어트리뷰트 트랜스퍼(Attribute transfer)(426)는 먼저 2D 텍스쳐 도메인(Texture domain)의 모든 포인트 P(u, v) 에 대해 해당 정점이 복원된 변형된 메쉬(Recon. deformed mesh)의 텍스쳐 트라이앵글(texture triangle) 안에 속해 있는지 확인하고, 텍스쳐 트라이앵글 T(texture triangle T) 안에 존재한다면 그 트라이앵글 T(triangle T)에 따른 P(u, v)의 질량중심 좌표 (barycentric coordinate) (, , )를 계산한다. 그리고 트라이앵글 T(triangle T)의 3D 정점 위치와 (, , )를 사용하여 P(u, v)의 3D 좌표 M(x, y, z)를 계산한다. 입력 메쉬 도메인(Input mesh domain)에서 계산된 M(x, y, z)와 가장 유사한 위치에 해당하는 정점 좌표 M'(x', y', z')과 이 정점을 포함하는 triangle T' 을 찾는다. 그리고 이 triangle T' 에서 M'(x', y', z')의 질량중심 좌표 (', ', ')을 계산한다. Triangle T' 의 세 정점에 대응하는 텍스처 좌표들과 (', ', ')을 이용하여 텍스처 좌표 (u', v')를 계산하고, 이 좌표에 해당하는 색상 정보를 입력 어트리뷰트 맵(Input attribute map)에서 찾는다. 이렇게 찾아진 색상 정보는 곧 새로운 어트리뷰트 맵(Input attribute map)의 (u, v) 픽셀 위치에 할당된다. 만약 P(u, v)가 어느 트라이앵글(triangle)에도 속하지 않는다면 새로운 어트리뷰트 맵(Input attribute map)에서 해당 위치 픽셀은 푸쉬-풀 패딩(427)의 푸쉬-풀 알고리즘(Push-Pull algorithm)과 같이 패딩 알고리즘(padding algorithm)을 이용하여 색상 값이 채워질 수 있다.
어트리뷰트 트랜스퍼(Attribute transfer) (426)를 통해 생성된 새로운 어트리뷰트 맵(Attribute map)은 GoF 단위로 묶여 어트리뷰트 맵 비디오(Attribute map video)를 구성하고, 이것은 비디오 인코딩부(429)의 비디오 코덱을 이용하여 압축된다.
도 10을 참조하면, 입력 메쉬, 입력 어트리뷰트 맵, 복원된 변형된 메쉬(Reconstructed deformed mesh), 재생성된 어트리뷰트 맵 간 참조 관계를 알 수 있다.
도 2의 디코딩 프로세싱(Decoding process)은 도 2의 인코딩 프로세스의 대응하는 과정의 역과정을 수행할 수 있다. 구체적 디코딩 프로세스는 다음과 같다.
도 11은 실시예들에 따른 V-Mesh 기술의 디코딩 프로세스를 나타낸다.
도 11은 도 2의 수신 장치의 메쉬 비디오 디코더(113)의 구성 및 동작을 나타낸다. 또한, 도 11은 도 7의 인코딩 프로세스의 역과정을 수행하여 메쉬 데이터를 복원할 수 있다. 본 개시에서 도11의 수신 장치는 메쉬 데이터 수신 장치 또는 디코더 또는 수신 장치의 디코더 또는 V-Mesh 디코더 또는 다이나믹 메쉬 디코더로 호칭될 수 있다.
도 11에 도시된 수신 장치의 엘리먼트들은 하드웨어, 소프트웨어, 메모리에 연결된 프로세서 및/또는 그것들의 결합 등으로 구현될 수 있다. 즉, 도 11의 수신 장치의 엘레멘트들은 도면에 도시되지 않았으나 하나 또는 그 이상의 메모리들과 통신 가능하도록 설정된 하나 또는 그 이상의 프로세서들 또는 집적 회로들(integrated circuits)을 포함하는 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다. 하나 또는 그 이상의 프로세서들은 상술한 도 11의 수신 장치의 엘레멘트들의 동작들 및/또는 기능들 중 적어도 어느 하나 이상을 수행할 수 있다. 또한 하나 또는 그 이상의 프로세서들은 도11의 수신 장치의 엘레멘트들의 동작들 및/또는 기능들을 수행하기 위한 소프트웨어 프로그램들 및/또는 인스트럭션들의 세트를 동작하거나 실행할 수 있다. 도 11에서 각 블록의 수행 순서는 변경될 수 있으며, 일부 블록은 생략될 수 있고, 일부 블록은 새로 추가될 수 있다.
도 11은 크게 디멀티플렉서(611), 아틀라스 디코더(612), 및 디코딩부(620)를 포함할 수 있다.
실시예들에 따르면, 수신부(도시되지 않음)로 수신된 메쉬 데이터의 비트스트림(즉, compressed bitstream)은 파일/세그먼트 디캡슐레이션된 후 디멀티플렉서(611)에서 베이스 메쉬 비트스트림(또는 베이스 메쉬 서브-스트림이라 함), 변위 벡터 비트스트림(또는 변위 서브-스트림이라 함), 텍스처 맵 비트스트림(또는 어트리뷰트 맵 서브-스트림 또는 텍스처 맵 서브-스트림이라 함), 및/또는 아틀라스 비트스트림으로 디멀티플렉싱될 수 있다. 메쉬 데이터의 비트스트림이 송신 장치에서 파일 형태로 인캡슐레이션되지 않았다면, 수신 장치에서 디캡슐레이션 과정은 생략된다. 만일, 현재 메쉬가 인터 인코딩이 적용된 경우라면, 베이스 메쉬 비트스트림은 모션 벡터 비트스트림일 수 있다.
실시예들에 따르면, 아틀라스 비트스트림은 아틀라스 디코더(612)로 제공된다. 아틀라스 디코더(612)는 아틀라스 비트스트림을 디코딩하여 아틀라스 정보를 복원할 수 있다. 복원된 아틀라스 정보는 메쉬 디코딩 과정에서 사용될 수 있다. 실시예들에 따라 아틀라스 정보가 사용되는 과정은 세분화 과정, 변위 벡터 복원 과정 등일 수 있고, 타일, 패치 등의 정보를 포함할 수 있다.
실시예들에 따르면, 아틀라스 비트스트림은 아틀라스 디코더(612)의 Exp-Golomb coding 등을 통해 디코딩 과정이 수행될 수 있다. 이때, 아틀라스는 메쉬 복원 과정(mesh reconstruction process)에서 필요한 정보일 수 있고, 타일, 패치 등의 정보를 의미할 수 있다. 그리고, 아틀라스 데이터는 메쉬 디코딩, 메쉬 복원 등의 과정에서 필요한 데이터를 의미할 수 있고, 세분화 방법, 변환 방법, 양자화 방법, 아틀라스 프레임 내 패치의 위치 및 크기 등을 포함할 수 있다.
실시예들에 따르면, 베이스 메쉬 비트스트림은 스위칭부(621)를 통해 모션 벡터 디코더(623)로 제공되거나 또는 스태틱 메쉬 디코더(622)로 제공된다.
예를 들어, 현재 메쉬가 인터 인코딩이 적용된 경우라면, 베이스 메쉬 비트스트림 즉, 모션 벡터 비트스트림이 수신되어 디멀티플렉싱된 후 스위칭부(621)를 통해 모션 벡터 디코더(623)로 출력된다. 다른 예로, 현재 메쉬가 인트라 인코딩이 적용된 경우라면, 베이스 메쉬 비트스트림이 수신되어 디멀티플렉싱된 후 스위칭부(621)를 통해 스태틱 메쉬 디코더(622)로 출력된다. 여기서, 모션 벡터 디코더(623)는 모션 디코더로 지칭될 수 있다.
실시예들에 따르면, 모션 벡터 디코더(623)는 모션 벡터 비트스트림에 대해 정점 단위 또는 서브 그룹 단위로 디코딩을 수행할 수 있다.
실시예들에 따르면, 모션 벡터 디코더(623)는 이전의 디코딩된 모션 벡터를 예측자로 사용하여 비트스트림으로부터 디코딩된 차분 모션 벡터(즉, 잔차 모션 벡터)와 더하여 최종 모션 벡터를 복원할 수 있다. 즉, 모션 벡터 디코더(623)는 모션 벡터 비트스트림을 통해 정점 또는 서브 그룹(또는 서브 블록) 단위의 차분 모션 벡터(또는 잔차 모션 벡터)를 디코딩하고, 이전의 디코딩된 모션 벡터를 예측자로 사용하여 연결정보 기반의 예측을 수행하여 잔차 모션 벡터와 더하여 모션 벡터를 디코딩할 수 있다.
실시예들에 따르면, 스태틱 메쉬 디코더(622)는 베이스 메쉬 비트스트림을 디코딩하여 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 텍스처 좌표(즉, 속성 지오메트리 정보), 노말 정보 등을 복원할 수 있다. 즉, 스태틱 메쉬 디코더(622)는 복원된 양자화된 베이스 메쉬(recon. quantized base mesh) 예를 들어, 베이스 메쉬(Base mesh)의 연결 정보, 정점 지오메트리 정보, 정점 텍스처 좌표 등을 복원할 수 있다.
실시예들에 따르면, 베이스 메쉬 복원부(631)는 디코딩된 모션 벡터 또는 디코딩된 베이스 메쉬를 기반으로 현재 베이스 메쉬를 복원할 수 있다. 예를 들어, 현재 메쉬가 화면간 인코딩이 적용된 경우라면, 베이스 메쉬 복원부(631)에서는 참조 베이스 메쉬에 디코딩된(또는 복원된) 모션 벡터를 더한 후 역양자화를 수행하여 복원된 베이스 메쉬(즉, 현재 베이스 메쉬)를 생성할 수 있다. 다른 예로, 현재 메쉬가 화면내 인코딩이 적용된 경우라면, 베이스 메쉬 복원부(631)는 스태틱 메쉬 디코더(622)를 통해 디코딩된(또는 복원된) 베이스 메쉬에 대해 역양자화를 수행하여 복원된 베이스 메쉬(즉, 현재 베이스 메쉬)를 생성할 수 있다. 실시예들에 따라 역양자화는 생략될 수 있다.
실시예들에 따르면, 변위 서브-비트스트림은 디코딩 방식에 따라 스위칭부(624)를 통해 산술 디코딩부(625)로 제공되거나 또는 비디오 디코딩부(627)로 제공된다.
예를 들어, 디코딩 방식이 산술 코덱 방식이라면, 산술 디코딩부(625)는 변위 서브 스트림을 산술 코덱 기반으로 디코딩하고, 역 예측부(626)는 디코딩된 변위 정보에 대해 예측의 역과정을 수행한 후 역양자화부(629)로 출력한다. 다른 예로, 디코딩 방식이 2D 비디오 코덱 방식이라면, 비디오 디코딩부(627)는 변위 서브 스트림을 2D 비디오 코덱 기반으로 디코딩하고, 이미지 언패킹부(628)는 디코딩된 변위 비디오의 이미지를 언패킹(Image unpacking)한 후 역양자화부(629)로 출력한다.
상기 역 예측부(626) 또는 이미지 언패킹부(628)에서 제공되는 변위 정보가 역 양자화부(629)에서 역 양자화되고, 역 리니어 리프팅부(630)에서 역 변환(Inverse transform)되면 각 정점에 대한 변위 정보로 복원된다 (즉, Recon. displacements).
실시예들에 따르면, 메쉬 복원부(632)는 역 리니어 리프팅부(630)에서 출력되는 복원된 변위와 베이스 메쉬 복원부(631)에서 출력되는 복원된 베이스 메쉬를 통해 재구성되고 변형된 메쉬를 복원한다(즉, decoded mesh). 즉, 역양자화된 복원된 베이스 메쉬는 복원된 변위(Displacement) 정보와 결합되어 최종 디코딩된 메쉬(Decoded mesh)를 생성한다. 본 개시에서 최종 디코딩된 메쉬는 복원된 변형된 메쉬(reconstructed deformed mesh)라 칭한다.
실시예들에 따르면, 어트리뷰트 맵 서브 스트림(Attribute map sub-stream)은 인코딩(Encoding)에서 사용한 비디오 압축 코덱에 대응하는 비디오 디코딩부(633)를 통해 디코딩된 후, 컬러 변환부(634)에서 색상 포맷 변환, 컬러 스페이스 변환 등의 과정을 거쳐 최종적인 어트리뷰트 맵(Attribute map)으로 복원된다(즉, decoded attribute map).
실시예들에 따르면, 복원된 디코딩된 메쉬(Decoded mesh)와 디코딩된 어트리뷰트 맵(Decoded attribute map)은 사용자가 활용할 수 있는 최종적인 메쉬 데이터(Mesh data)로써 수신단에서 활용될 수 있다.
도 11을 정리하면, 베이스 메쉬 서브-스트림은 basemesh 타입에 따라 예를 들어, INTRA 타입인 경우, MEB(MPEG EdgeBreaker) 기술을 기반으로 스태틱 메쉬 디코더(622)를 통해 디코딩될 수 있고, 그 결과로 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 정점 매핑 정보(텍스처 좌표) 등을 복원할 수 있다.
실시예들에 따른 인코더에서 텍스쳐 파라미터화(texture parameterization) 방법이 orthoAtlas인 경우, 디코더에서 정점 좌표를 사용하여 매핑정보(텍스처 좌표)와 어트리뷰트 정보(텍스처) 연결 정보를 유도할 수 있다. 매핑정보(텍스처 좌표) 및 연결 정보를 유도하는 과정은 각 페이스(face)의 호모그래피 변환(Homography transform)을 계산한 후, 이를 기반으로 정점을 투영시키는 과정을 통해 매핑 정보(텍스처 좌표) 및 어트리뷰트 정보(텍스처) 연결 정보를 생성할 수 있다.
실시예들에 따라, 베이스 메쉬 타입이 INTER 타입인 경우, 엔트로피 디코딩과 역 예측(Inverse prediction) 과정을 통해 모션 정보를 디코딩할 수 있다. 디코딩된 모션 정보는 이미 복원되어 버퍼에 저장되어 있는 참조 베이스 메쉬와 결합하여 현재 프레임에 대한 Reconstructed quantized base mesh를 생성한다. 복원된 베이스 메쉬에 대해 역 양자화 과정이 수행될 수 있다.
즉, 모션 벡터 디코더는 비트스트림 내 메쉬 데이터가 인터 예측에 기반하여 인코딩된 경우, 참조 프레임 내 베이스메쉬에 기반하여, 현재 프레임의 베이스메쉬의 모션 필드를 모션 추정 및 보상을 통해 유도한다. 스태틱 메쉬 디코더는 비트스트림 내 메쉬 데이터가 인트라 예측에 기반하여 인코딩된 경우, 베이스 메쉬를 디코딩한다.
변위 서브-스트림은 인코더에서 사용한 압축 방법에 따라 예를 들어, 비디오 코덱을 통해 압축된경우, 비디오 압축 코덱의 디코더를 통해 변위 비디오로 디코딩된 후, 이미지 언 패킹 과정이 수행된다.
다른 예로, 산술 코딩을 통해 압축된 경우, 변위 서브-스트림은 산술 디코딩을 통해 이진화된 신택스 요소로 디코딩될 수 있고, 신택스 요소의 각 빈에 따라 적응적으로 컨텍스트 확률 모델(CPM, Contextual Probability Model)이 결정될 수 있고, CPM을 통해 빈의 발생 확률을 예측하여 산술 디코딩이 수행될 수 있다. 이진화된 신택스 요소는 역 이진화를 통해 디코딩될 수 있다. 디코딩된 신택스 요소로 양자화된 변위 벡터 변환 계수를 유도할 수 있다. 다른 예로, 변위 정보 타입이 INTER 인 경우(inter prediction이 수행된 경우), 양자화된 변위벡터 변환계수(displacement coefficient)에 대해 참조 정보를 사용하여 역 인터 예측(inverse inter prediction) 과정이 수행된다.
양자화된 변위벡터 변환계수(displacement coefficient)는 역 양자화, 역 변환, 좌표계 변환 과정을 거쳐 각 정점에 대한 변위 정보로 복원된다.
복원된 베이스 메쉬와 복원된 변위 정보가 결합되어 최종 디코딩된 메쉬를 생성한다. 어트리뷰트 맵 서브-스트림은 인코더에서 사용한 비디오 압축 코덱의 디코더를 통해 디코딩된 후, 색상 포맷 변환 등의 과정을 거쳐 최종적인 어트리뷰트 맵으로 복원된다.
복원된 디코딩된 메쉬와 디코딩된 어트리뷰트 맵은 사용자가 활용할 수 있는 최종적인 메쉬 데이터로써 수신단에서 활용될 수 있다.
도 12는 실시예들에 따른 메쉬 데이터 송신 장치를 나타낸다.
도 12는 도 2의 송신 장치(100) 또는 메쉬 비디오 인코더(102), 도 3 또는 도 7의 인코더(프리 프로세서 및 인코더), 및/또는 그에 대응하는 송신 인코딩 장치에 대응한다. 도 12의 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응한다.
V-Mesh 압축 기술을 이용한 다이나믹 메쉬(Mesh) 데이터의 압축 및 전송을 위한 송신단의 동작 과정은 도 12와 같을 수 있다. 도 12의 송신 장치는 인트라 프레임 인코딩(또는 인트라 인코딩 또는 화면 내 인코딩이라 함) 프로세스 및/또는 인터 프레임 인코딩(또는 인터 인코딩 또는 화면간 인코딩이라 함) 프로세스를 수행할 수 있다.
프리-프로세서(811)는 원본 메쉬를 입력받아 단순화된 메쉬 (Decimated mesh)(또는 베이스 메쉬)와 핏팅된 세분화(또는 서브디비전)된 메쉬를 생성한다. 단순화는 메쉬를 구성하는 타겟 정점 개수 또는 타겟 다각형 개수를 기준으로 수행할 수 있다. 단순화된 메쉬에 대해 정점 당 텍스처 좌표 및 텍스처 연결정보를 생성하는 파라미터라이제이션(parameterization 또는 매개변수화라 함)이 수행될 수 있다. 예를 들어, 파라미터라이제이션은 단순화된 메쉬(Decimated mesh)에 대해 3D 곡면을 텍스쳐 도메인(Texture domain)으로 매핑하는 과정이다. 만일, UV아틀라스 툴(UVAtlas tool)을 사용하여 파라미터라이제이션(Parameterization)을 수행할 경우, 단순화된 메쉬(Decimated mesh)의 각 정점들이 2D 이미지 상의 어느 위치로 매핑될 수 있는지 식별할 수 있는 매핑 정보가 생성된다. 매핑 정보는 텍스처 좌표로 표현되어 저장되며, 이 과정을 통해 최종 베이스 메쉬(Base mesh)가 생성된다. 또한 부동 소수점 형태의 메쉬 정보들을 고정 소수점 형태로 양자화하는 작업을 수행할 수 있다. 이 결과는 베이스 메쉬로서 스위칭부(812)를 통해 모션 벡터 인코더(813) 또는 스태틱 메쉬 인코더(814)로 출력될 수 있다. 프리-프로세서(811)에서는 베이스 메쉬에 대해 메쉬 세분화 (Subdivision)를 수행하여 추가적인 정점을 생성할 수 있다. 세분화 방법에 따라 추가된 정점들을 포함하는 정점 연결 정보, 텍스처 좌표 및 텍스처 좌표의 연결 정보들이 생성될 수 있다. 프리-프로세서(811)는 세분화된 메쉬가 원본 메쉬와 유사해지도록 정점 위치 조정을 통해 핏팅된 서브디비전(세분화)된 메쉬 (Fitted subdivided mesh)를 생성할 수 있다.
실시예들에 따르면, 베이스 메쉬는 해당 메쉬 프레임에 대해 화면간 인코딩 (Inter encoding)을 수행하는 경우 스위칭부(812)를 통해 모션 벡터 인코더(813)로 출력되고, 해당 메쉬 프레임에 대해 화면내 인코딩(Intra encoding)을 수행하는 경우 스위칭부(812)를 통해 스태틱 메쉬 인코더(814)로 출력된다. 모션 벡터 인코더(813)는 모션 인코더로 지칭될 수 있다.
예를 들어, 해당 메쉬 프레임에 대해 화면내 인코딩(Intra encoding or intra frame encoding)을 수행하는 경우, 베이스 메쉬는 스태틱 메쉬 인코더(814)를 통해 압축될 수 있다. 이 경우 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 정점 텍스처 정보, 노말 정보 등에 대해 인코딩이 수행될 수 있다. 인코딩을 통해 생성된 베이스 메쉬 비트스트림은 멀티플렉서(823)로 전송된다.
다른 예로, 해당 메쉬 프레임에 대해 화면간 인코딩(Inter encoding or inter frame encoding)을 수행하는 경우, 모션 벡터 인코더(813)는 베이스 메쉬와 참조 복원 베이스 메쉬(또는 복원된 양자화된 참조 베이스 메쉬)를 입력으로 받아, 두 메쉬 간의 모션 벡터를 계산하고 그 값을 인코딩할 수 있다. 또한, 모션 벡터 인코더(813)는 이전에 인코딩/디코딩 된 모션 벡터를 예측자로 사용하여 연결 정보 기반의 예측을 수행하고, 현재 모션 벡터에서 예측 모션 벡터를 뺀 잔차 모션 벡터를 인코딩할 수 있다. 인코딩을 통해 생성된 모션 벡터 비트스트림은 멀티플렉서(823)로 전송된다.
베이스 메쉬 복원부(815)는 스태틱 메쉬 인코더(814)에서 인코딩된 베이스 메쉬 또는 모션 벡터 인코더(813)에서 인코딩된 모션 벡터를 입력받아 복원된 베이스 메쉬(reconstructed base mesh)를 생성할수 있다. 예를 들어, 베이스 메쉬 복원부(815)는 스태틱 메쉬 인코더(814)에서 인코딩된 베이스 메쉬에 대해 스태틱 메쉬 디코딩을 수행하여 베이스 메쉬를 복원할 수 있다. 이때, 스태틱 메쉬 디코딩 전에 양자화를 적용하고, 스태틱 메쉬 디코딩 후에 역양자화를 적용할 수 있다. 다른 예로, 베이스 메쉬 복원부(815)는 복원된 양자화된 참조 베이스 메쉬와 모션 벡터 인코더(813)에서 인코딩된 모션 벡터에 기초하여 베이스 메쉬를 복원할 수 있다. 복원된 베이스 메쉬는 변위 계산부(816)와 메쉬 복원부(820)으로 출력된다.
변위 계산부(816)는 복원된 베이스 메쉬에 대해서 메쉬 세분화를 수행할 수 있다. 변위 계산부(816)는 세분화된 복원된 베이스 메쉬와 프리-프로세서(811)에서 생성된 핏팅된 서브디비전(또는 세분화)된 메쉬 간의 정점 위치 차이 값인 변위 벡터(displacement vector)를 계산할 수 있다. 이때, 세분화된 메쉬의 정점 개수만큼 변위 벡터가 계산될 수 있다. 변위 계산부(816)에서는 3차원 데카르트(Cartesian) 좌표계에서 계산된 변위 벡터를 각 정점의 노말 (Normal, 법선) 벡터를 기반으로 한 Local 좌표계로 변환할 수 있다.
변위 벡터 비디오 생성부(817)는 리니어 리프팅부, 양자화기, 및 이미지 패킹부를 포함할 수 있다. 즉, 변위 벡터 비디오 생성부(817)에서 리니어 리프팅부는 효과적인 인코딩을 위해 변위 벡터를 변환 (Transform)할 수 있다. 변환은 실시예들에 따라 Lifting 변환, Wavelet 변환 등이 수행될 수 있다. 또한 변환된 변위 벡터 값, 곧 변환 계수에 대해 양자화기에서 양자화를 수행할 수 있다. 이때, 변환 계수의 각 축마다 다른 양자화 파라미터를 적용할 수 있으며, 인코더/디코더의 약속에 의해 양자화 파라미터를 유도할 수 있다. 변환 및 양자화를 거친 변위 벡터 정보들은 이미지 패킹부에서 2D 이미지로 패킹 (Packing)될 수 있다. 변위 벡터 비디오 생성부(817)는 매 프레임마다 패킹된 2D 이미지들을 묶어 변위 벡터 비디오를 생성할 수 있고, 변위 벡터 비디오는 입력 메쉬의 GoF (Group of Frame) 단위마다 생성될 수 있다.
변위 벡터 비디오 인코더(818)는 생성된 변위 벡터 비디오를 비디오 압축 코덱을 이용하여 인코딩할 수 있다. 생성된 변위 벡터 비디오 비트스트림은 멀티플렉서(823)로 전송된다.
변위 벡터 복원부(819)는 비디오 디코더, 이미지 언패킹부, 역양자화기, 역 리니어 리프팅부를 포함할 수 있다. 즉, 변위 벡터 복원부(819)는 인코딩된 변위 벡터에 대해 비디오 디코더에서 디코딩을 수행하고, 이미지 언패킹부에서 이미지 언패킹을 수행하며, 역양자화기에서 역양자화를 수행한 후 역 리니어 리프팅부에서 역변환을 수행하여 변위 벡터를 복원한다. 복원된 변위 벡터는 메쉬 복원부(820)으로 출력된다. 메쉬 복원부(820)는 베이스 메쉬 복원부(815)에서 복원된 베이스 메쉬와 변위 벡터 복원부(819)에서 복원된 변위 벡터를 기반으로 변형된 메쉬를 복원한다. 복원된 메쉬(또는 복원된 변형된 메쉬라 함)는 복원된 정점, 정점 간 연결 정보, 텍스처 좌표 및 텍스처 좌표 간 연결 정보 등을 갖고 있다.
텍스처 맵 비디오 생성부(821)는 원본 메쉬의 텍스처 맵(또는 어트리뷰트 맵이라 함)과 메쉬 복원부(820)에서 출력되는 복원된 변형된 메쉬를 기반으로 텍스처 맵을 재생성할 수 있다. 실시예들에 따르면, 텍스처 맵 비디오 생성부(821)는 복원된 변형된 메쉬의 텍스처 좌표에 대해 원본 메쉬의 텍스처 맵이 갖고 있는 정점 별 색상 정보를 할당할 수 있다. 실시예들에 따르면, 텍스처 맵 비디오 생성부(821)는 매 프레임마다 재생성된 텍스처 맵들을 GoF 단위마다 묶여 텍스처 맵 비디오를 생성할 수 있다.
생성된 텍스처 맵 비디오는 텍스처 맵 비디오 인코더(822)의 비디오 압축 코덱을 이용하여 인코딩될 수 있다. 인코딩을 통해 생성된 텍스처 맵 비디오 비트스트림은 멀티플렉서(823)로 전송된다.
멀티플렉서(823)는 모션 벡터 비트스트림(예, 인터 인코딩시), 베이스 메쉬 비트스트림(예, 인트라 인코딩시), 변위 벡터 비트스트림 및 텍스처 맵 비트스트림을 하나의 비트스트림으로 멀티플렉싱한다. 하나의 비트스트림은 송신부(824)를 통해 수신단으로 전송될 수 있다. 또는 모션 벡터 비트스트림, 베이스 메쉬 비트스트림, 변위 벡터 비트스트림 및 텍스처 맵 비트스트림은 하나 이상의 트랙 데이터로 파일이 생성되거나 세그먼트로 인캡슐레이션 되어 송신부(824)를 통해 수신단에 전송될 수 있다.
도 12를 참조하면, 송신 장치(인코더)는 인트라 프레임 혹은 인터 프레임 방식으로 메쉬를 인코딩할 수 있다. 인트라 인코딩에 따른 송신 장치는 베이스 메쉬, 변위벡터(또는 변위라 함), 텍스쳐 맵(또는 어트리뷰트 맵이라 함)을 생성할 수 있다. 인터 인코딩에 따른 송신 장치는 모션 벡터(또는 모션이라 함), 변위 벡터(또는 변위라 함), 텍스쳐 맵(또는 어트리뷰트 맵이라 함)을 생성할 수 있다. 데이터 입력부로부터 획득된 텍스쳐 맵은 복원된 메쉬에 기초하여 생성되고 인코딩된다. 변위는 베이스 메쉬 및 분할(또는 세분화 또는 서브디비전)된 메쉬 간 정점 위치 차이를 통해 생성되고 인코딩된다. 좀 더 구체적으로, 변위는 핏팅된 서브디비전된 메쉬 및 서브디비전된 복원된 베이스 메쉬 간 위치 차이 즉, 두 메쉬 간 정점 위치 차이값이다. 그리고, 베이스 메쉬는 원본 메쉬를 프리-프로세싱을 통해 단순화하고 인코딩하여 생성된다. 모션은 이전 프레임의 참조 베이스 메쉬에 기초하여 현재 프레임의 메쉬에 대한 모션 벡터로 생성된다.
도 13은 실시예들에 따른 메쉬 데이터 수신 장치를 나타낸다.
도 13은 도 2의 수신 장치(110) 또는 메쉬 비디오 디코더(113), 도 11의 디코더, 및/또는 그에 대응하는 수신 디코딩 장치에 대응한다. 도 13의 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응한다. 도 13의 수신(디코딩) 동작은 도 12의 송신(인코딩) 동작의 대응하는 과정의 역과정을 따를 수 있다.
수신부(910)로 수신된 메쉬 데이터의 비트스트림은 파일/세그먼트 디캡슐레이션된 후 디멀티플렉서(911)에서 압축된 모션 벡터 비트스트림(예, 인터 디코딩) 혹은 베이스 메쉬 비트스트림(예, 인트라 디코딩), 변위 벡터 비트스트림, 그리고 텍스처 맵 비트스트림으로 디멀티플렉싱된다. 예를 들어, 현재 메쉬가 화면간 인코딩(즉, 인터 인코딩)이 적용된 경우라면, 모션 벡터 비트스트림이 수신되어 역다중화된 후 스위칭부(912)를 통해 모션 벡터 디코더(913)로 출력된다. 다른 예로, 현재 메쉬가 화면내 인코딩(즉, 인트라 인코딩)이 적용된 경우라면, 베이스 메쉬 비트스트림이 수신되어 역다중화된 후 스위칭부(912)를 통해 스태틱 메쉬 디코더(914)로 출력된다. 여기서, 모션 벡터 디코더(913)는 모션 디코더로 지칭될 수 있다.
실시예들에 따르면, 프레임 헤더 정보에 따라 현재 메쉬가 화면간 인코딩이 적용된 경우라면, 모션 벡터 디코더(913)는 모션 벡터 비트스트림에 대해 디코딩을 수행할 수 있다. 실시예들에 따르면, 모션 벡터 디코더(913)는 이전의 디코딩된 모션 벡터를 예측자로 사용하여 비트스트림으로부터 디코딩된 잔차 모션 벡터와 더하여 최종 모션 벡터를 복원할 수 있다.
실시예들에 따르면, 프레임 헤더 정보에 따라 현재 메쉬가 화면내 인코딩이 적용된 경우라면, 스태틱 메쉬 디코더(914)는 베이스 메쉬 비트스트림을 디코딩하여 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 텍스처 좌표, 노말 정보 등을 복원할 수 있다.
실시예들에 따르면, 베이스 메쉬 복원부(915)는 디코딩된 모션 벡터 또는 디코딩된 베이스 메쉬를 기반으로 현재 베이스 메쉬를 복원할 수 있다. 예를 들어, 현재 메쉬가 화면간 인코딩이 적용된 경우라면, 베이스 메쉬 복원부(915)에서는 참조 베이스 메쉬에 디코딩된 모션 벡터를 더한 후 역양자화를 수행하여 복원된 베이스 메쉬를 생성할 수 있다. 다른 예로, 현재 메쉬가 화면내 인코딩이 적용된 경우라면, 베이스 메쉬 복원부(915)는 스태틱 메쉬 디코더(914)를 통해 디코딩된 베이스 메쉬에 대해 역양자화를 수행하여 복원된 베이스 메쉬를 생성할 수 있다.
실시예들에 따르면, 변위 벡터 비디오 디코더(917)는 변위 벡터 비트스트림을 비디오 비트스트림으로서 비디오 코덱을 이용하여 디코딩하거나 산술 코덱을 이용하여 디코딩할 수 있다. 즉, 변위 벡터 비트스트림이 인코딩 코덱 타입에 따라 예를 들어, 비디오 코덱을 통해 인코딩된 경우, 비디오 코덱을 이용하여 디코딩된 후, 역패킹 과정이 수행될 수 있다. 다른 예로, 산술 코딩을 통해 인코딩된 경우, 변위 벡터 산술 디코딩부를 통해 변위 벡터 비트스트림에 대해 산술 디코딩을 수행할 수 있고, 화면 간 예측이 수행된 경우, 화면 간 예측을 통해 참조 변위 벡터 변환 계수에 잔차값을 더하여 현재 변위 벡터 변환 계수를 생성할 수 있다.
실시예들에 따르면, 변위 벡터 복원부(918)는 디코딩된 변위 벡터 비디오로부터 변위 벡터 변환 계수를 추출하고, 추출된 변위 벡터 변환 계수에 역양자화와 역변환 과정을 적용하여 변위 벡터를 복원한다. 이를 위해 변위 벡터 복원부(918)는 이미지 언패킹부, 역양자화기, 및 역 리니어 리프팅부를 포함할 수 있다. 만일 복원된 변위 벡터가 Local 좌표계의 값이라면 Cartesian 좌표계로 역변환하는 과정이 수행될 수 있다.
메쉬 복원부(916)에서는 복원된 베이스 메쉬에 대해 세분화를 수행하여 추가적인 정점을 생성할 수 있다. 세분화를 통해, 추가된 정점을 포함하는 정점 연결 정보, 텍스처 좌표 및 텍스처 좌표의 연결 정보 등을 생성할 수 있다. 이때, 메쉬 복원부(916)는 세분화된 복원 베이스 메쉬를 복원된 변위 벡터와 결합하여 최종 복원된 메쉬(또는 복원된 변형된 메쉬라 함)를 생성할 수 있다.
실시예들에 따르면, 텍스처 맵 비디오 디코더(919)는 텍스처 맵 비트스트림을 비디오 비트스트림으로서 비디오 코덱을 이용하여 디코딩하여 텍스처 맵을 복원할 수 있다. 복원된 텍스처 맵은 복원된 메쉬가 담고 있는 각 정점에 대한 색상 정보를 갖고 있으며, 각 정점의 텍스처 좌표를 이용하여 텍스처 맵으로부터 해당 정점의 색상값을 가져올 수 있다.
실시예들에 따르면, 메쉬 복원부(916)에서 복원된 메쉬와 텍스처 맵 비디오 디코더(919)에서 복원된 텍스처 맵은 메쉬 데이터 렌더러(920)에서 렌더링 과정을 통해 사용자에게 보여진다.
도 13을 참조하면, 수신 장치(디코더)는 인트라 프레임 혹은 인터 프레임 방식으로 메쉬를 디코딩할 수 있다. 인트라 디코딩에 따른 수신 장치는 베이스 메쉬, 변위 벡터(또는 변위라 함), 텍스쳐 맵(또는 어트리뷰트 맵이라 함)을 수신하고, 복원 메쉬 및 복원 텍스쳐 맵을 기반으로 메쉬 데이터를 렌더링할 수 있다. 인터 디코딩에 따른 수신 장치는 모션 벡터(또는 모션이라 함), 변위 벡터(또는 변위라 함), 텍스쳐 맵(또는 어트리뷰트 맵이라 함)을 수신하고, 복원 메쉬 및 복원 텍스쳐 맵을 기반으로 메쉬 데이터를 렌더링할 수 있다.
실시예들에 따른 메쉬 데이터 송신 장치 및 방법은 메쉬 데이터를 프리-프로세싱하고, 프리-프로세싱된 메쉬 데이터를 인코딩하며, 인코딩된 메쉬 데이터를 포함하는 비트스트림을 송신할 수 있다. 실시예들에 따른 포인트 메쉬 데이터 수신 장치 및 방법은 메쉬 데이터를 포함하는 비트스트림을 수신하여 메쉬 데이터를 디코딩할 수 있다. 실시예들에 따른 메쉬 데이터 송수신 방법/장치는 실시예들에 따른 방법/장치로 줄여서 지칭될 수 있다. 실시예들에 따른 메쉬 데이터 송수신 방법/장치는 3D 데이터 송수신 방법/장치 또는 포인트 클라우드 데이터 송수신 방법/장치로도 지칭될 수 있다.
실시예들에 따른 메쉬 데이터 송신 장치 및 방법은 메쉬 데이터를 프리-프로세싱하고, 프리-프로세싱된 메쉬 데이터를 인코딩하며, 인코딩된 메쉬 데이터를 포함하는 비트스트림을 송신할 수 있다. 실시예들에 따른 메쉬 데이터 수신 장치 및 방법은 메쉬 데이터를 포함하는 비트스트림을 수신하여 메쉬 데이터를 디코딩할 수 있다. 실시예들에 따른 메쉬 데이터 송수신 방법/장치는 방법/장치로 줄여서 지칭될 수 있다. 실시예들에 따른 메쉬 데이터 송수신 방법/장치는 3D 데이터 송수신 방법/장치로도 지칭될 수 있다.
전술한 바와 같이, 송신 장치에서는 도 7 또는 도 12에서와 같이 입력된 원본 메쉬에 대해 먼저 프리-프로세싱을 수행한다. 좀 더 구체적으로, 도 4에서와 같이 프리-프로세서(200)의 메쉬 단순화부는 입력된 원본 메쉬의 단순화된 메쉬 (Decimated mesh)를 생성하고, 아틀라스 파라미터라이제이션(또는, 매개변수화, Atlas parameterization, UV parameterization이라고도 함)부는 단순화된 메쉬를 구성하는 정점(Vertex)들에 대한 텍스처 좌표를 생성한다. 그리고, 단순화된 메쉬와 텍스처 좌표는 입력된 원본 메쉬의 베이스 메쉬(Base Mesh) 데이터가 되어 압축 및 복원된다.
이때, 도 7의 어트리뷰트 트랜스퍼(426) 또는 도 12의 텍스처 맵 비디오 생성부(821)는 원본 메쉬의 텍스처 맵과, 인코딩 후 복원된 메쉬가 가진 텍스처 좌표를 기준으로 새로운 텍스처 맵을 재생성한다. 여기에서 복원된 메쉬가 가진 텍스처 좌표는 복원된 베이스 메쉬에 대해 세분화 (Subdivision)를 수행한 결과이며, 프리-프로세서(200)에서 생성된 텍스처 좌표를 기반으로 하여 계산된 값이다. 복원된 메쉬의 텍스처 좌표를 기준으로 재생성된 텍스처 맵 이미지들은 비디오로 처리되어 기존의 비디오 코덱(예, 도 7의 비디오 인코딩부(429) 또는 도 12의 텍스처 맵 비디오 인코더(822))에서 압축된다. 이러한 방식에 따라, 프리-프로세서(200)에서 생성된 텍스처 좌표는 재생성된 텍스처 맵 이미지의 구조/형태에 영향을 주게 되고 결과적으로 텍스처 맵 비디오 압축 성능에도 영향을 미치게 된다.
이와 같이 V-Mesh는 입력된 원본 메쉬의 텍스처 맵 (Texture map)을, 인코딩 과정에서 복원된 메쉬에 대한 텍스처 맵으로 재생성한 후 재생성된 텍스처 맵 이미지들을 비디오 인코더를 통해 비디오 스트림으로 처리, 압축한다.
본 개시에서 입력되는 원본 메쉬(즉, 입력 메쉬)는 메쉬를 구성하는 정점들의 3차원 좌표, 각 정점의 법선 정보, 메쉬(Mesh) 표면을 2D 평면에 매핑하는 매핑 정보, 표면을 구성하는 정점들 간의 연결 정보 등을 포함하고 있다. 메쉬(Mesh)의 표면은 삼각형 또는 그 이상의 다각형으로 표현될 수 있으며 정해진 형태에 따라 각 표면을 구성하는 정점들 간 연결 정보가 저장되어 있다. 입력 메쉬(Input mesh)는 OBJ 파일 포맷으로 저장될 수 있다.
본 개시에서 텍스처 맵(또는 어트리뷰트 맵이라 함)은 메쉬의 어트리뷰트 (색상, 법선, 변위 등) 정보를 포함하고 있으며, 메쉬의 표면을 2D 이미지 상에 매핑한 형태로 데이터를 저장하고 있다. 이 텍스처 맵의 각 데이터가 메쉬의 어느 부분(표면 혹은 정점)에 해당되는지 매핑하는 것은 입력 메쉬에 포함되어 있는 매핑 정보를 바탕으로 한다. 텍스처 맵은 메쉬 비디오의 각 프레임에 대한 데이터를 갖고 있기 때문에 텍스처 맵(또는 어트리뷰트 맵) 비디오라고도 표현할 수 있다. V-Mesh 압축 방법에서의 텍스처 맵은 메쉬의 색상 정보를 주로 갖고 있으며, 이미지 파일 포맷 (PNG, BMP 등)으로 저장된다.
이때, 프리-프로세서와 도 7의 어트리뷰트 트랜스퍼(426) 또는 도 12의 텍스처 맵 비디오 생성부(821)는 하나의 어트리뷰트 정보를 갖는 메쉬 데이터를 입력받을 수도 있고, 또는 다수의 어트리뷰트 정보를 갖는 메쉬 데이터를 입력받을 수도 있다. 본 개시는 다수의 어트리뷰트 정보를 갖는 메쉬 데이터를 다중 어트리뷰트 정보를 갖는 메쉬 데이터 또는 다중 어트리뷰트 정보를 갖는 다이나믹 메쉬 데이터라 칭할 수 있다. 즉, 입력 메쉬는 하나의 어트리뷰트 정보를 갖는 메쉬 데이터일 수도 있고 또는 다중 어트리뷰트 정보를 갖는 메쉬 데이터일 수도 있다. 다시 말해, 입력 메쉬는 하나의 텍스처 맵을 갖는 메쉬 데이터일 수도 있고 또는 다중 텍스처 맵을 갖는 메쉬 데이터일 수도 있다.
본 개시에서 하나의 어트리뷰트 정보를 갖는 메쉬 데이터는 하나의 프레임에 하나의 텍스처 맵(예, 하나의 PNG 이미지)이 적용되는 것을 의미하고, 다수의 어트리뷰트 정보를 갖는 메쉬 데이터는 하나의 프레임에 다수의 텍스처 맵(예, 다수의 PNG 이미지)이 적용되는 것을 의미한다.
즉, 하나의 어트리뷰트 정보를 갖는 메쉬 데이터는 하나의 프레임 내 모든 정점들이 하나의 텍스처 맵을 참조하여 시각적 어트리뷰트를 표현하는 것을 의미하고, 다중 어트리뷰트 정보를 갖는 메쉬 데이터는 하나의 프레임 내 서로 다른 정점들이 서로 다른 텍스처 맵을 참조하여 시각적 어트리뷰트를 표현하는 것을 의미한다. 예를 들어, 하나의 프레임이 사람으로 구성된다고 가정할 때, 하나의 어트리뷰트 정보를 갖는 메쉬 데이터의 경우, 사람을 구성하는 모든 정점들이 하나의 텍스처 맵을 참조한다. 이에 반해, 다수의 어트리뷰트 정보를 갖는 메쉬 데이터의 경우 사람을 다수개의 영역으로 구분한 후 각 영역별로 다른 텍스처 맵을 참조한다. 다중 어트리뷰트를 예로 들면, 사람을 다수개의 영역(예, 얼굴 영역, 몸통 영역, 팔 영역, 다리 영역, 기타 영역)으로 구분하고, 얼굴 영역의 정점들, 몸통 영역의 정점들, 팔 영역의 정점들, 다리 영역의 정점들, 기타 영역의 정점들이 서로 다른 텍스처 맵을 참조한다. 즉, 메쉬의 다른 부분들이 다른 어트리뷰트 이미지에 매핑된다.
도 14는 실시예들에 따른 다수의 어트리뷰트 정보를 갖는 다이나믹 메쉬 데이터의 일 예시를 보인 도면이다. 도 14는 다수의 어트리뷰트를 가지는 RWTT(Real World Textured Things) 데이터셋 내 메쉬의 예로서, 1k*1k 해상도의 텍스처 이미지 5개를 사용하는 오브젝트(예, 사람) 캡쳐 예시이다. 상기 RWTT는 최신의 시판 중인 사진 복원(photo-reconstruction) 도구들을 사용하여 생성된, 공개적으로 이용 가능한 텍스처가 입혀진 3D 모델들의 컬렉션이다. 이 데이터셋의 목적은 실제 세계에서 유래한 파라미터화되고 텍스처가 적용된 3D 모델을 대상으로 한 지오메트리 프로세싱 알고리즘의 도전적인 벤치마크를 제공하는 것이다.
도 14에서 좌측 상단의 "Original"은 원래의 3D 메쉬 모델을 나타내며, 인체 형태의 메쉬 구조가 시각적으로 표현되어 있다. 해당 모델은 실제 텍스처가 적용되기 전의 원본 데이터로, 모델의 지오메트리 구조만이 포함된다. 그리고, 도 14에서 "Voxelized (qp=12, qt=12, rotated/translated)"는 원본 메쉬가 복셀화된 상태를 나타내며, 압축을 위한 프르-프로세싱 과정(양자화 및 위치 변환 포함)을 수행한 결과를 보여준다.
도 14에서 우측 상단부는 좌측 상단의 3D 메쉬 모델 즉, 메쉬 데이터에 관련된 프레임에 대응되는 텍스처 맵의 예시로서, 5개의 텍스처 맵이 동일한 3D 메쉬 모델을 위해 구성됨을 보여준다. 여기서, 5는 당업자의 이해를 돕기 위한 숫자이며, 2이상은 모두 본 개시에 속함은 당연하다.
도 14에서 우측 하단부는 다수개의 텍스처 맵이 연결(concatenate)되어 시퀀스를 구성하는 예를 보인다. 도 14는 하나의 예시이며, 다수개의 텍스처 맵은 가로 방향 또는 세로 방향으로 연결되어 시퀀스를 구성할 수도 있다. 즉, 도14를 참조하면, 메쉬 데이터에 관련된 프레임은 오브젝트(예를 들어, 사람 또는 건물) 등을 포함할 수 있다. 예를 들어, 오브젝트의 크기가 크거나, 고해상도를 위해서, 하나의 오브젝트 및/또는 하나의 오브젝트에 관한 바운딩 박스에 관한 어트리뷰트 정보(즉, 텍스처 맵)가 복수 개일 수 있다. 예를 들어, 어트리뷰트가 텍스쳐 맵인 경우, 원본 오브젝트 혹은 복셀화된 오브젝트(qp=12, qt=12, rotated/translated)에 관한 복수의 텍스쳐 맵들이 존재할 수 있다. 복수의 텍스쳐 맵들은 텍스쳐1, 텍스쳐2, 텍스쳐3, 텍스쳐4, 텍스쳐5 등과 같이 지칭될 수 있다. 도14의 오브젝트를 복원하기 위해서 텍스쳐1 내지 텍스쳐5의 정보가 모두 필요할 수 있다.
하지만, 다수의 텍스처 맵 내 데이터들의 특징을 고려하지 않고 나열한 상태로 순차적으로 사용하게 되면 비디오 코딩 효율이 좋지 않게 된다.
본 개시는 다중 어트리뷰트 정보를 갖는 다이나믹 메쉬 데이터를 이용할 때 비디오 코덱을 이용한 텍스처 맵 비디오의 압축 성능을 향상시킬 수 있도록, 그리고 재생성된 텍스처 맵 비디오 스트림에 시간적 일관성(Temporal consistency)을 최대한 반영될 수 있도록 새로운 텍스처 좌표 (Texture coordinates)를 생성하는 방법을 제안한다. 또한, 본 개시를 통해 텍스처 맵 비디오 압축 성능을 향상시킴으로써, 다이나믹 메쉬 압축 성능을 향상시킬 수 있도록 한다. 이에 더하여, V-DMC 사용자가 본 개시가 적용된 인코더를 사용하여 획득한 메쉬 데이터를 압축한 후 생성된 비트스트림을 저장 및 활용, 전송, 그리고 수신단에서 비트스트림을 저장 및 활용하는데 있어 보다 적은 리소스를 사용할 수 있도록 한다.
즉, 본 개시는 다수의 어트리뷰트 정보를 갖는 데이터의 비디오 압축 성능을 향상시키는 방법에 관한 것이다.
실시예들에 따라, 본 개시는 텍스처 좌표를 생성할 때 프레임 간 이미지 유사성을 반영하여 텍스처 좌표를 생성함으로써 프레임 간 이미지 상관관계가 높은 즉, 시간적 일관성이 최대한 유지되는 어트리뷰트 정보(즉, 텍스처 맵)을 재생성할 수 있도록 한다.
실시예들에 따라, 본 개시는 입력 메쉬로 다중 어트리뷰트 정보를 갖는 메쉬 데이터가 들어오면, 프리-프로세서의 프리-프로세싱 과정에서 다중 어트리뷰트 정보 배치의 재구성 과정을 수행하는 것을 일 실시예로 한다. 본 개시의 프리-프로세싱 과정은 도 3, 도 4, 도 7 또는 도 12의 프리-프로세서(200)에서 수행될 수 있다.
실시예들에 따라 본 개시의 프리-프로세서(200)에서는 단순화된 입력 메쉬에 대한 텍스처 좌표를 생성하고, 어트리뷰트 트랜스퍼(또는 텍스처 맵 비디오 생성부라 함)에서는 상기 생성된 텍스처 좌표를 이용하여 텍스처 맵을 재생성하며, 비디오 인코더에서는 상기 재생성된 텍스처 맵을 비디오 코덱을 이용하여 압축한다.
실시예들에 따라, V-Mesh 압축 방법에서는 도 4에서 보는 바와 같이 입력된 원본 메쉬에 대해 먼저 프리-프로세싱을 수행한다. 좀 더 구체적으로, 프리-프로세서(200)에서는 메쉬 단순화부를 통해 입력된 원본 메쉬 즉, 입력 메쉬로부터 단순화된 메쉬 (Decimated mesh)를 만들고, 아틀라스 파라미터라이제이션 (Atlas parameterization, UV parameterization이라고도 함)부를 통해 단순화된 메쉬를 구성하는 정점 (Vertex)들에 대한 텍스처 좌표를 생성한다. 단순화된 메쉬와 텍스처 좌표는 입력된 원본 메쉬의 베이스 메쉬 데이터가 되어 압축 및 복원된다.
실시예들에 따라, 메쉬 단순화부는 입력 메쉬에서 사용자가 정의한 기준에 따라 제거할 정점을 선택한 후, 선택된 정점 및 선택된 정점과 연결된 삼각형들을 제거할 수 있다. 그리고, 메쉬 단순화를 수행하는 과정에서 복셀화된 입력 메쉬(Input mesh (voxelized)), 타겟 트라이앵글 비율(TTR), 미니멈 트라이앵글 컴포넌트(CCCount) 정보가 입력으로 전달되고, 출력으로 단순화된 메쉬를 구할 수 있다. 이 과정에서 설정된 미니멈 트라이앵글 컴포넌트(CCCount)보다 작은 연결된 트라이앵글 컴포넌트(connected triangle components)를 제거할 수 있다.
실시예들에 따라, 아틀라스 파라미터라이제이션부는 단순화된 메쉬에 대해 3D 곡면을 텍스쳐 도메인으로 매핑한다. 본 개시는 UV아틀라스 툴(UVAtlas tool)을 사용하여 파라미터라이제이션(Parameterization)을 수행할 수 있다. 이 과정을 통해 단순화된 메쉬의 각 정점들이 2D 이미지 상의 어느 위치로 매핑될 수 있는지 매핑 정보가 생성된다. 매핑 정보는 텍스처 좌표로 표현되어 저장되며, 이 과정을 통해 최종 베이스 메쉬가 생성된다.
실시예들에 따라, 입력 메쉬로 다중 어트리뷰트 정보를 갖는 메쉬 데이터가 들어오면, 프리-프로세서(200)에서는 다중 어트리뷰트 정보 배치의 재구성 과정을 추가로 수행할 수 있다. 이때, 다중 어트리뷰트 정보 배치의 재구성 과정은 메쉬 단순화부에서 수행될 수도 있고 또는 별도의 블록이나 모듈을 메쉬 단순화부 전에 추가하여 수행할 수도 있다.
실시예들에 따라, 본 개시는 입력으로 들어오는 형태 (1 x 6의 concatenation 형태 또는 2 x 3의 직사각형 형태)에서 비디오 코딩의 효율을 고려하여 텍스처 맵의 인덱스를 조절하여 배치할 수 있다. 예를 들어, 6개의 텍스처 맵이 123456 순으로 입력된다면 231456의 순으로 6개의 텍스처 맵을 재배치할 수 있다. 여기서, 123456는 6개의 텍스처 맵을 식별하기 위한 각 텍스처 맵 인덱스이다.
실시예들에 따라, 각 텍스처 맵의 전체 또는 일부(즉, 패치 단위)의 상관(correlation)이나 특징 매칭(feature matching) 등의 방법을 통해 유사도를 측정하여 배치 과정부터 바로 재구성할 수 있다. 즉, 본 개시는 다중 어트리뷰트 정보를 갖는 다이나믹 메쉬 데이터를 이용할 때 비디오 코덱을 이용한 텍스처 맵 비디오 압축 성능을 향상시키고, 재생성된 텍스처 맵 비디오 스트림에 시간적 일관성(Temporal consistency)을 최대한 반영될 수 있도록 다수개의 텍스처 맵의 배치를 재구성할 수 있다.
그리고, 다중 텍스처 맵을 갖는 메쉬 데이터의 경우, 하나의 프레임 내 정점들이 다른 텍스처 맵을 참조하기 때문에, 프레임 내 각 정점을 위한 시그널링 정보(또는 메타 데이터 파라미터라 함)는 정점별로 해당 정점이 참조하는 텍스처 맵의 인덱스(또는 식별자)와 그 텍스처 맵 내 해당 정점의 텍스처 좌표 정보(예, UV 좌표 정보)를 포함하는 것을 일 실시예로 한다. 즉, 각 정점은 자신이 참조해야 할 텍스처 맵 인덱스 정보와 그 텍스처 맵 내의 위치 정보를 포함한 시그널링 정보(또는 메타데이터)를 가진다.
본 개시의 프리-프로세서(200)에서 재배치된 다중 텍스처 맵들은 하나의 프레임에 대응한다. 즉, 하나의 프레임에 다수개의 텍스처 맵이 존재한다. 예를 들어, 각각의 해상도가 1k*1k인 5개의 텍스처 맵을 병합하면 1k*5k의 해상도를 갖는 텍스처 맵 즉, 텍스처 이미지가 하나의 프레임에 적용된다. 즉, 본 개시는 배치가 재구성된 다수개의 텍스처 맵을 병합(또는 연결)하여 단일 프레임의 텍스처 맵처럼 취급한다. 본 개시는 텍스처 맵 인덱스의 순서를 바꿔서 다수의 텍스처 맵의 배치를 재구성할 수 있다.
이와 같이 입력되는 다수개의 텍스처 맵 또는 유사도를 기반으로 배치가 재구성된 다수개의 텍스처 맵을 병합하면, 시간적 연속성을 확보할 수 있으며, 비디오 예측 기반 인코딩 시 효과적으로 활용될 수 있다.
도 15는 전술한 V-Mesh 방법에 따라 재생성된 텍스처 맵 비디오의 일 예시를 보이고 있다. 즉, 프리-프로세서(200)의 아틀라스 파라미터라이제이션 단계에서 단순화된 메쉬에 대해 텍스처 좌표를 생성할 때 다수개의 텍스처 맵을 병합하여 생성된 현재 프레임의 정보만을 이용하여 각 정점 별 텍스처 좌표를 생성한다. 즉, 도 15에서 각 프레임은 다수개(예, 6개 이상)의 텍스처 맵을 포함할 수 있다. 이때, 다수개의 텍스처 맵은 유사도 등을 기반으로 배치가 재구성된 후 해당 프레임에 매핑될 수 있다. 다수개의 텍스처 맵 배치의 재구성은 텍스처 맵 인덱스의 순서를 변경하여 수행할 수 있다. 이러한 과정은 프레임 단위로 수행될 수 있다. 그리고, 이렇게 생성된 텍스처 좌표를 갖는 베이스 메쉬를 압축한 후 다시 복원하고, 이를 텍스쳐 맵 재생성에 이용하면, 어트리뷰트 트랜스퍼(도 7의 426 참조) 또는 도 12의 텍스처 맵 비디오 생성부(821)에서 재생성된 텍스처 맵들은 도 15에서와 같이 프레임 간 이미지 상관 관계가 낮다. 도 15에서 얼굴이라는 매쉬 패치를 예로 들면, i번째 프레임에서는 우측 아래 근처(951)에 위치하고, i+1번째 프레임에서는 좌측 중앙 근처(952)에 위치하고, i+2번째 프레임에서는 둘로 분리되어 우측 중앙 근처(953, 954)에 위치하며, i+3번째 프레임에서는 우측 위 근처(955)에 위치하고 있음을 볼 수 있다. 이와 같이, 파라미터라이제이션 단계에서 현재 프레임 정보만을 이용하여 생성된 단순화된 메쉬의 텍스처 좌표와 원본 텍스처 맵을 기반으로 재생성된 텍스처 맵들은 프레임 간 이미지 상관관계가 낮고, 시간적 일관성이 거의 없는 형태를 보인다.
특히, 도 7 또는 도 12에서와 같이 비디오 코덱을 이용하여 텍스처 맵 비디오를 압축할 때, 즉 화면 간 인코딩 방식을 적용하여 텍스처 맵 비디오를 압축할 경우, 화면 간 예측의 정확도가 낮아 인코딩할 잔차 신호 데이터가 많이 발생하게 됨으로써 많은 압축 비트스트림을 발생시킬 수 있다. 그리고, 입력 메쉬의 인코딩된 비트스트림 사이즈가 클수록 데이터를 전송, 저장하는 등의 시스템 동작에서는 많은 리소스와 비용을 필요로 하게 된다.
즉, 지금까지 설명한 V-Mesh 압축 방법에서는 입력된 다이나믹 메쉬 데이터를 단순화하고, 단순화된 메쉬 데이터를 스태틱 메쉬 압축 방법을 이용해 인코딩하고 있다. 이때, 단순화된 메쉬 데이터에는 메쉬를 구성하는 정점들에 대한 기하(즉, 지오메트리) 정보와, 각 정점의 색상 정보를 다수개의 텍스처 맵으로부터 가져오기 위한 텍스처 좌표 정보가 포함되어 있다. V-Mesh는 원본 메쉬가 갖고 있는 다수개의 텍스처 맵의 텍스처 좌표를 가공하여 단순화된 메쉬에 대한 텍스처 좌표를 생성한다. 이때, 생성된 텍스처 좌표는 원본 메쉬의 텍스처 좌표에 비해 보다 텍스처 맵 비디오 압축에 효율적이도록 가공되지만 비디오의 시간적 일관성 특징은 반영되지 못했기 때문에 화면 간 압축 방식을 적용하여 압축할 경우 충분한 성능과 효율을 내기에는 한계가 있다. 특히, 입력 메쉬 콘텐츠와 이에 대한 텍스처 맵 해상도가 커질수록, 또한 타겟 비트레이트 (Bitrate)가 높을수록 압축되는 텍스처 맵 비디오의 해상도 및 용량이 증가하기 때문에 전술한 방법으로는 메쉬 콘텐츠를 압축, 전송, 활용하는데 있어 제한이 발생할 수 밖에 없다.
따라서, 본 문서에서는 비디오 코덱을 이용한 텍스처 맵 비디오 압축 성능을 향상시키기 위해, 재생성된 텍스처 맵 비디오 스트림에 시간적 일관성 (Temporal consistency)이 최대한 반영될 수 있도록 새로운 텍스처 좌표 (Texture coordinates)를 생성하는 방법을 제안한다. 즉, 송신 장치에서 텍스처 맵 비디오 인코딩시 본 문서에서 제안된 방법을 사용함으로써, 텍스처 맵 비디오 압축 성능을 향상시킬 수 있고 이로 인해, 다이나믹 메쉬 압축 성능을 향상시킬 수 있다. 그리고, 사용자가 본 개시가 적용된 인코더를 사용하여 획득한 메쉬 데이터를 압축한 후 생성된 비트스트림을 저장 및 활용, 전송하고, 수신단에서 비트스트림을 저장 및 활용하는데 있어 보다 적은 리소스를 사용할 수 있게 된다. 다시 말해, 본 개시에서 제안된 방법을 기반으로 다수개의 텍스처 맵을 병합하여 구성된 텍스쳐 맵(즉, 어트리뷰트 맵)을 재생성하여 압축함으로써, 미디어 및 통신 시스템 등에서 메쉬 콘텐츠를 사용하기 위해 요구되는 비용을 줄이고 메쉬 콘텐츠를 활용한 어플리케이션의 적용 범위를 더 확장시키는 효과를 기대할 수 있다. 이때, 다수개의 텍스처 맵은 유사도 등을 기반으로 배치가 재구성된 후 하나의 텍스처 맵으로 병합되는 것을 일 실시예로 한다.
특히, V-Mesh로 압축된 메쉬 비트스트림에서 텍스처 맵 비디오의 비트스트림이 차지하는 비중은 매우 크기 때문에, 본 개시에서 제안한 방법을 사용하여 텍스처 맵 비디오 압축 성능을 향상시키면, V-Mesh의 압축 성능을 높일 수 있게 된다.
도 16은 실시예들에 따른 파라미터라이제이션부의 상세 블록도의 일 예시를 보이고 있다.
실시예들에 따르면, 파라미터라이제이션부는 도 3, 도 4, 도 7 또는 도 12의 프리-프로세서(200)에 포함된다. 즉, 도 16의 파라미터라이제이션부는 프리-프로세서(200) 내 메쉬 단순화부와 핏팅 서브디비전 서페이스부 사이에 위치하는 것을 일 실시예로 한다.
도 16의 파라미터라이제이션부는 폴리곤/정점 분할(segmentation)부(11011), 메쉬 패치 분할(segmentation)부(11013), 및 메쉬 패치 패킹부(11015)를 포함할 수 있다. 도 16의 파라미터라이제이션을 위한 각 구성요소는 하드웨어, 소프트웨어, 프로세서, 및/또는 그것들의 조합에 대응한다.
먼저, 프리-프로세서(200)의 메쉬 단순화부에서 단순화된 메쉬는 파라미터라이제이션부의 폴리곤/정점 분할부(11011)로 입력된다.
실시예들에 따른 폴리곤/정점 분할부(11011)에서는 단순화된 메쉬 (Decimated mesh)에 대해 메쉬를 구성하는 폴리곤 (Polygon, 삼각형 혹은 사각형 형태) 혹은 정점들의 특성을 기준으로 폴리곤 혹은 정점 분할(Segmentation)을 수행한다. 이 분할 작업에서는 메쉬를 구성하는 정점들의 연결로 형성된 폴리곤의 방향 혹은 각 정점의 방향이 메쉬 객체를 감싸는 바운딩 박스의 평면들의 방향 중 어느 것에 가장 가까운지를 결정한다. 방향은 폴리곤의 노멀 벡터 (Normal vector) 또는 정점의 노멀 벡터 값으로 판단할 수 있다. 즉, 메쉬 폴리곤의 노멀 벡터 또는 정점의 노멀 벡터가 바운딩 박스의 6개 평면이 갖는 노멀 벡터들 중 어느 것과 가장 유사한지를 비교하여 판단하여 가장 유사한 노멀 벡터를 갖는 평면의 방향을 해당 폴리곤 혹은 정점에 대해 결정한다. 폴리곤의 노멀 벡터는 폴리곤을 구성하는 정점들의 위치 좌표값을 이용하여 계산할 수 있다. 정점의 노멀 벡터는 입력된 메쉬 데이터에 정점 별 노멀 정보가 포함된 경우에는 이 값을 그대로 사용할 수 있으며, 노멀 정보가 포함되지 않은 경우에는 정점과 이웃하는 정점들을 이용하여 계산할 수 있고 이를 위해 V-PCC에서 포인트 클라우드 (Point cloud)에 대한 패치 (Patch) 생성시 각 포인트의 노멀 값을 계산하는 방법을 적용할 수 있다. 폴리곤 혹은 정점의 방향은 바운딩 박스의 6개 평면들 중 하나의 방향이 될 수도 있고, 이외에 사용자 정의에 의해 추가된 방향들이 있다면 이들을 포함하는 방향들 중 하나가 될 수도 있다.
실시예들에 따라 메쉬 패치 분할(segmentation)부(11013)에서는 상기 폴리곤/정점 분할부(11011)의 분할 과정에서 얻은 폴리곤 혹은 정점들의 방향 정보를 바탕으로, 방향이 같은 인접한 폴리곤 혹은 점들의 집합인 메쉬 패치로 나누는 작업을 수행한다. 본 과정이 폴리곤을 기준으로 수행되는 경우, 현재의 폴리곤을 기준으로 방향이 같고 서로 인접한 폴리곤들을 산출하며 최대 인접한 폴리곤의 개수, 즉 메쉬 패치를 구성할 수 있는 폴리곤의 최대 개수는 사용자에 의해 정의될 수 있다. 모든 폴리곤에 대해 메쉬 패치 분할 과정을 진행한 후 패치에 포함되지 못한 폴리곤들은 인접한 폴리곤 패치의 방향 중 가장 우세한 방향의 패치에 포함되거나 방향이 가장 유사한 폴리곤 패치에 포함될 수 있다. 본 과정이 정점을 기준으로 수행되는 경우에는 V-PCC에서 포인트 클라우드에 대한 패치 생성 시 포인트 클라우드를 패치로 분할하는 방법을 적용할 수 있다.
실시예들에 따라 메쉬 패치 패킹부(11015)에서는 앞에서 생성된 메쉬 패치들을 도 17에서와 같이 하나의 2D 이미지 상으로 맵핑 (Mapping)하는 작업을 수행한다. 메쉬 패치 패킹은 V-PCC의 포인트 클라우드 패치 패킹 방법을 적용하여 수행할 수 있다.
도 17은 실시예들에 따라 단순화된 메쉬를 구성하는 메쉬 패치들이 2D 이미지 상에 매핑된 일 예시를 보인 도면이다.
실시예들에 따르면, 메쉬 패치 패킹부(11015)는 생성된 메쉬 패치들을 하나의 2D 이미지 상으로 매핑할 때 이전 프레임의 패킹 결과를 참조하여 매핑을 수행하여 텍스처 좌표를 갖는 단순화된 메쉬를 출력할 수 있다. 즉, 메쉬 패치 패팅부(11015)는 생성된 메쉬 패치들을 하나의 2D 이미지 상으로 매핑할 때 이전 프레임의 패킹 결과를 참조하여 매핑을 수행하여, 단순화된 메쉬의 각 정점들이 2D 이미지 상의 어느 위치에 매핑되는지를 식별할 수 있는 매핑 정보를 생성한다. 이 매핑 정보는 텍스처 좌표로 표현되어 저장된다.
즉, 메쉬 패치 패킹부(11015)는 생성된 메쉬 패치의 크기가 큰 순서대로 2D 이미지 상에 매핑하는 메쉬 패치 패킹을 수행할 수 있다. 일 예시로, 이전에 메쉬 패치 패킹이 완료된 프레임이 존재하지 않는다고 확인되면, 전술한 바와 같이 생성된 메쉬 패치의 크기가 큰 순서대로 2D 이미지 상에 매핑하는 메쉬 패치 패킹을 수행할 수 있다. 실시예들에 따르면, 메쉬 패치 패킹부(11015)는 사용자가 지정한 크기의 2D 이미지 상에 각 메쉬 패치가 매핑될 수 있도록 이미지의 (0, 0) 좌표부터 시작하여 라스터 스캔 순서(raster scan order) 순으로 위치를 탐색해 나갈 수 있다. 또한, 메쉬 패치는 사용자가 지정한 각도에 따라 회전하여 2D 이미지(즉, 2D 프레임) 상에 매핑될 수 있다. 이때, 2D 이미지(즉, 2D 프레임) 내 이미 이전 패치가 매핑되어 채워진 위치에는 새로운 패치가 매핑될 수 없다.
그리고, 프레임 간 유사성이 반영될 수 있도록 텍스처 좌표를 생성하기 위해, 메쉬 패치를 패킹할 때 이전 프레임의 패킹 결과를 참조하여 수행할 수 있다. 즉, 이전에 메쉬 패치 패킹이 완료된 프레임이 존재한다고 확인되면, 현재 프레임의 각 메쉬 패치에 대해 이전 프레임의 메쉬 패치들 중 매칭되는 메쉬 패치가 있는지 판단한다. 이때, 매칭의 기준은 메쉬 패치의 방향, 메쉬 패치를 구성하는 폴리곤/정점들의 위치 유사도 등이 사용될 수 있다. 즉 메쉬 패치의 방향이 같고, 메쉬 패치를 구성하는 폴리곤/정점의 개수가 유사하고, 이것들의 3차원 상에서의 위치 혹은 2차원 상에서의 위치가 유사한 경우 두 메쉬 패치는 서로 매칭될 수 있다. 현재 메쉬 패치에 대해 이전 프레임에 매칭되는 메쉬 패치가 존재하는 경우, 현재 메쉬 패치는 매칭된 메쉬 패치가 2D 이미지 상에서 맵핑된 위치를 참조하여 현재 2D 이미지 상에 위치하도록 맵핑될 수 있다. 매칭된 메쉬 패치와 동일한 위치를 갖도록 현재 2D 이미지 상에 맵핑될 수 있고, 만약 동일 위치가 다른 패치에 의해 점유된 경우에는 그 위치와 최대한 가까운 지점으로 맵핑될 수 있다. 이전 프레임에서 매칭된 메쉬 패치를 찾은 메쉬 패치들을 우선하여 맵핑을 수행하고, 매칭되지 않은 메쉬 패치들은 이후에 남은 이미지 공간의 적절한 위치에 맵핑되도록 한다. 본 과정을 통해 현재 프레임의 메쉬 패치들이 이전 프레임의 메쉬 패치들과 유사한 위치로 맵핑된 결과를 얻을 수 있다.
그리고, 이러한 과정을 반복하여, 메쉬 패치 패킹이 모두 완료되면 도 17의 오른쪽과 같이 단순화된 메쉬를 구성하는 각 메쉬 패치들이 2D 이미지 상에 맵핑되어 위치한 결과를 얻을 수 있다. 그리고 각 메쉬 패치를 구성하는 정점들의 2D 이미지 상에서의 위치를 구할 수 있다. 각 정점들이 2D 이미지 상에 맵핑된 위치는 2차원 좌표값을 가지며, 본 개시에서 제안하는 방법에서는 이 좌표값을 정점들의 텍스처 좌표로 사용하도록 한다. 이 텍스처 좌표들은 곧 단순화된 메쉬의 각 정점 별 텍스처 좌표로서 베이스 메쉬를 구성하는 정보로 포함되어 압축된다. 즉, 텍스처 좌표를 갖는 단순화된 메쉬는 핏팅 서브디비전 서페이스부로 입력되어 서브디비전(즉, 세분화) 및 핏팅 과정이 수행되며, 이때 핏팅된 세분화된 메쉬 및 베이스 메쉬가 인코더(201)로 출력된다. 핏팅 서브디비전 서페이스부의 상세 동작은 도 4의 설명을 참조하기로 하고 여기서는 중복 설명을 피하기 위해 생략한다.
또한, 상기 텍스처 좌표는 어트리뷰트 트랜스퍼에서 복원된 메쉬에 대한 텍스처 맵을 재생성할 때, 각 정점의 색상 정보를 2D 텍스처 맵의 어느 위치에 저장할 것인지 결정하는 기준이 된다.
실시예들에 따르면, 인코더(201)는 프리-프로세서(200)에서 출력되는 베이스 메쉬와 핏팅된 서브디비전된 메쉬를 기반으로 변위 정보(또는 변위 벡터라 함)를 계산하고, 계산된 변위 정보를 기반으로 복원된 변형된 메쉬(reconstructed defomed mesh)를 생성한다. 예를 들어, 복원된 변형된 메쉬는 서브디바이드(또는 세분화 또는 서브디비전)된 복원된(reconstructed) 베이스 메쉬에 복원된 변위를 더하여 획득된다. 본 문서에서 복원된 변형된 메쉬를 생성하는 상세 내용은 도 7 또는 도 12의 설명을 참조하기로 하고 여기서는 중복 설명을 피하기 위해 생략하기로 한다.
실시예들에 따르면, 도 7의 어트리뷰트 트랜스퍼(426) 또는 도 12의 텍스처 맵 비디오 생성부(821)는 전술한 바와 같이, 원본 메쉬의 텍스처 맵과 복원된 변형된 메쉬를 기반으로 텍스처 맵(또는 어트리뷰트 맵이라 함)을 재생성한다.
즉, 도 16에서 설명한 과정이 진행되어, 프리-프로세서(200)의 파라미터라이제이션부에서 출력되는 텍스처 좌표는 어트리뷰트 트랜스퍼 단계에서 복원된 메쉬에 대한 텍스처 맵을 재생성할 때, 각 정점의 색상 정보를 2D 텍스처 맵의 어느 위치에 저장할 것인지 결정하는 기준이 된다.
이상에서와 같이 본 개시는 전술한 과정을 통해 프레임 간 유사 메쉬 패치는 2D 이미지 상의 유사한 위치에 패킹되도록 하였으므로, 유사 메쉬 패치 간에는 유사한 텍스처 좌표를 가질 수 있다. 그 결과, 텍스처 좌표를 기반으로 재생성된 텍스처 맵은 프레임 간 유사한 형태를 가질 수 있다. 이를 통해 최종 생성된 텍스처 맵 비디오는 도 18에서와 같이 시간적 일관성을 최대한 유지할 수 있게 되며, 텍스처 맵 비디오 압축 시 화면 간 예측이 적용되는 경우 높은 압축 성능을 보일 수 있다.
본 개시는 위 과정의 다중 어트리뮤트 정보를 갖는 텍스처 구성 방법으로의 확장을 통해, 시간적 연속성을 유지함으로서 인코딩 과정에 효율을 극대화 할 수 있다. 따라서, 입력 메쉬로 다중 어트리뷰트 정보를 갖는 메쉬 데이터 배치를 재구성하거나 또는 그대로 사용하여 위에서 설명한 텍스처 좌표를 생성함으로써, 인코딩 효율을 극대화 할 수 있다.
도 18은 실시예들에 따라 재생성된 텍스처 맵 비디오의 다른 예시를 보이고 있다. 즉, 도 18은 이전 프레임의 패킹 결과를 참조하여 현재 프레임의 메쉬 패치들을 하나의 2D 이미지 상으로 매핑한 결과의 일 예시를 보이고 있다.
즉, 본 개시는 프리-프로세서(200)의 아틀라스 파라미터라이제이션 단계에서 단순화된 메쉬에 대해 텍스처 좌표를 생성할 때 이전 프레임의 패킹 결과와 현재 프레임의 정보를 이용하여 각 정점 별 텍스처 좌표를 생성한다. 그리고, 이렇게 생성된 텍스처 좌표를 갖는 베이스 메쉬를 압축한 후 다시 복원하고, 이를 텍스쳐 맵 재생성에 이용하면, 어트리뷰트 트랜스퍼(도 7의 426) 또는 도 12의 텍스처 맵 비디오 생성부(821)에서 재생성된 텍스처 맵들은 도 18에서와 같이 프레임 간 이미지 상관 관계가 높다. 도 18에서 얼굴이라는 메쉬 패치를 예로 들면, i번째 프레임, i+1번째 프레임, i+2번째 프레임 그리고 i+3번째 프레임에서 거의 동일한 위치(즉, 프레임 내 우측 아래 부근)(14051-14054)에 패킹되어 있음을 볼 수 있다. 이와 같이, 파라미터라이제이션 단계에서 이전 프레임 정보와 현재 프레임 정보를 이용하여 생성된 단순화된 메쉬의 텍스처 좌표와 원본 텍스처 맵을 기반으로 재생성된 텍스처 맵들은 프레임 간 이미지 상관관계가 높고, 시간적 일관성이 유지되는 형태를 보인다.
그리고, 어트리뷰트 트랜스퍼(도 7의 426 참조) 또는 도 12의 텍스처 맵 비디오 생성부(821)에서 재생성된 텍스처 맵은 비디오 인코더(도 7의 429 또는 도 12의 822 참조)에서 인코딩되어 압축된 어트리뷰트 맵 비트스트림으로 출력된다. 본 개시에서 어트리뷰트 맵 비트스트림은 압축된 텍스처 맵 비트스트림과 동일한 의미로 사용된다. 이때, 압축된 어트리뷰트 비트스트림은 멀티플렉서에서 다른 비트스트림들과 다중화된 후 도 11 또는 도 13의 수신 장치로 전송되거나 또는 파일이나 세그먼트로 인캡슐레이션된 후 도 11 또는 도 13의 수신 장치로 전송된다.
송신 장치로부터 수신된 압축된 비트스트림 또는 파일/세그먼트를 처리하여 메쉬와 어트리뷰트 맵을 복원하는 도 11 또는 도 13의 수신 장치의 상세 설명은 위에서 하였으므로 여기서는 중복 설명을 피하기 위해 생략하기로 한다.
지금까지 설명한 3D 데이터 송신 장치 및 방법을 정리하면 다음과 같다.
1) 단순화된 메쉬에 대해 메쉬를 구성하는 폴리곤 또는 정점 특성을 기준으로 유사 특성을 갖는 폴리곤 또는 정점들끼리 결합하여 분할을 수행한다.
2) 분할된 폴리곤 또는 정점 집합은 하나의 메쉬 패치가 되며, 입력된 프레임에서 생성된 메쉬 패치들을 2D 이미지 상으로 매핑하는 메쉬 패치 패킹 과정을 수행한다.
3) 메쉬 패치 패킹 방법은 프레임 간 패킹 유사성이 반영될 수 있도록 이전 프레임의 패킹 결과를 참조하여 현재 프레임의 메쉬 패치들을 패킹하는 방법을 적용한다.
4) 2D 이미지 상으로 모든 메쉬 패치들의 패킹이 완료되면 매핑된 좌표 위치는 패치들을 구성하는 정점들 각각의 텍스처 좌표로 사용된다.
5) 위에서 얻은 텍스처 좌표를 바탕으로 재생성된 텍스처 맵은 프레임 간 유사한 형태를 가질 수 있으며, 이를 통해 최종 생성된 텍스처 맵 비디오는 시간적 일관성을 최대한 유지함으로써 화면 간 예측을 적용한 비디오 압축시 높은 압축 성능을 보일 수 있다.
도 19는 실시예들에 따른 인코딩 방법의 일 예시를 보인 흐름도이다. 실시예들에 따른 인코딩 방법은 메쉬 데이터의 베이스메쉬를 인코딩하는 단계(S31011), 메쉬 데이터의 변위를 인코딩하는 단계(S31012), 및 메쉬 데이터의 어트리뷰트를 인코딩하는 단계(S31013)를 포함할 수 있다.
도 19의 인코딩 방법은 상기 단계 S31011 내지 S31013를 수행하기 전 즉, 메쉬 데이터를 인코딩하기 전에 메쉬 데이터를 프리-프로세싱하는 단계를 더 포함할 수 있다. 본 개시의 프리-프로세싱은 도 4의 프리-프로세서(200)에서 수행된다. 도 7 또는 도 12는 도 4의 프리-프로세서(200)가 포함되는 송신 장치의 예시들을 보인 도면이다.
실시예들에 따르면, 프리-프로세싱 단계는 입력 메쉬로 다중 어트리뷰트 정보(즉, 텍스처 맵)를 갖는 메쉬 데이터가 들어오면, 각 텍스처 맵의 전체 또는 일부(패치 단위)의 상관이나 특징 매칭 등의 방법을 통해 유사도를 측정하여 다수개의 텍스처 맵의 배치를 재구성하는 단계를 포함할 수 있다.
실시예들에 따르면, 프리-프로세싱 단계는 메쉬 단순화 단계, 파라미터라이제이션 단계, 및 핏팅 서브디비전 서페이스 단계를 포함할 수 있다. 프리-프로세싱은 GoF 생성 단계를 더 포함할 수 있다. 각 단계의 상세 설명은 전술한 도 4의 설명을 참조하기로 한다.
실시예들에 따르면, 파라미터라이제이션 단계는 폴리곤 분할 단계, 메쉬 패치 분할 단계, 및 메쉬 패치 패킹 단계를 포함할 수 있다. 각 단계의 상세 설명은 전술한 도 16 내지 도 18의 설명을 참조하기로 한다. 즉, 도 16 내지 도 18에서 설명한 바와 같이 폴리곤 분할 단계, 메쉬 패치 분할 단계, 및 메쉬 패치 패킹 단계가 수행되면, 단순화된 메쉬의 정점들에 대한 텍스처 좌표가 생성된다.
그리고, 단순화된 메쉬의 정점들에 대한 텍스처 좌표는 베이스 메쉬 데이터로 포함되어 메쉬 데이터의 베이스메쉬를 인코딩하는 단계(S31011)에서 인코딩된다. 인코딩된 베이스 메쉬는 베이스 메쉬 복원부를 통해 복원된다. 메쉬 복원부는 복원된 베이스 메쉬와 상기 메쉬 데이터의 변위를 인코딩하는 단계(S31012)에서 인코딩 후 복원된 변위 벡터를 결합하여 복원된 메쉬를 생성한다. 즉, 베이스 메쉬 복원부에서 복원된 베이스 메쉬는 세분화를 거친 후 변위 벡터와 결합되며, 베이스 메쉬의 세분화 시 추가로 생성된 정점들에 대한 텍스처 좌표는 복원된 베이스 메쉬의 텍스처 좌표를 기반으로 계산된다. 결과적으로, 메쉬 복원부에서 복원된 메쉬의 텍스처 좌표는 복원된 베이스 메쉬의 텍스처 좌표와, 이를 기반으로 계산된 세분화된 정점들의 텍스처 좌표를 포함하고 있다.
상기 메쉬 데이터의 어트리뷰트를 인코딩하는 단계(S31013)는 어트리뷰트 데이터(또는 텍스처 맵이라 함)에 대해 비디오 코덱 기반으로 인코딩을 수행할 수 있다. 이를 위해, 텍스처 맵 비디오 생성부(또는 어트리뷰트 트랜스퍼)에서는 원본 텍스처 맵을 가공하여 복원된 메쉬에 대한 텍스처 맵으로 재생성하는 작업을 수행한다. 여기에서는 복원된 메쉬의 각 정점과 가장 유사한 원본 메쉬의 정점을 찾고 그 정점의 색상 정보를 원본 텍스처 맵으로부터 가져와 재생성될 텍스처 맵 2D 이미지 상에 할당해주는데, 복원된 메쉬의 해당 정점의 텍스처 좌표가 곧 색상 정보가 할당되는 위치가 된다. 즉, 복원된 메쉬의 텍스처 좌표를 기준으로 새로운 텍스처 맵이 재생성되는 것이다. 재생성 된 프레임 별 텍스처 맵들은 비디오로 처리되며, 텍스처 맵 비디오 인코더를 통해 압축된 후 전송된다. 텍스처 맵 비디오 생성부(또는 어트리뷰트 트랜스퍼)는 텍스처 맵 비디오 생성 단계 또는 어트리뷰트 트랜스퍼 단계로 지칭될 수 있다.
이때, 프리-프로세싱 단계에서 생성된 텍스처 좌표들은 화면 간 유사성이 반영되어 있기 때문에 텍스처 맵 비디오 생성부(또는 어트리뷰트 트랜스퍼)를 통해 재생성된 텍스처 맵 비디오에서도 화면 간 유사성이 유지될 수 있으며, 이는 곧 화면 간 인코딩을 적용한 텍스처 맵 비디오 인코딩시 압축 성능을 더욱 향상시킬 수 있다.
실시예들에 따라, 상기 메쉬 데이터의 베이스메쉬를 인코딩하는 단계(S31011)는 해당 메쉬 프레임에 대해 화면내 인코딩(Intra encoding or intra frame encoding)을 수행하는 경우, 베이스 메쉬를 스태틱 메쉬 인코더를 통해 인코딩할 수 있다. 이 경우 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 정점 텍스처 정보, 노말 정보 등에 대해 인코딩이 수행될 수 있다. 상기 메쉬 데이터의 베이스메쉬를 인코딩하는 단계(S31011)는 해당 메쉬 프레임에 대해 화면간 인코딩(Inter encoding or inter frame encoding)을 수행하는 경우, 모션 벡터 인코더를 베이스 메쉬와 참조 복원 베이스 메쉬(또는 복원된 양자화된 참조 베이스 메쉬) 간의 모션 벡터를 계산하고 그 값을 인코딩할 수 있다. 또한, 이전에 인코딩/디코딩 된 모션 벡터를 예측자로 사용하여 연결 정보 기반의 예측을 수행하고, 현재 모션 벡터에서 예측 모션 벡터를 뺀 잔차 모션 벡터를 인코딩할 수 있다.
상기 메쉬 데이터의 변위를 인코딩하는 단계(S31012)는 변위 데이터에 대해 비디오 코덱 기반의 인코딩을 수행할 수도 있고, 산술 코덱 기반의 인코딩을 수행할 수 있다. 상기 메쉬 데이터의 변위를 인코딩하는 단계(S31012)는 변위 데이터를 인코딩하기 전에 변위 데이터의 좌표계를 3차원 데카르트(Cartesian) 좌표계에서 Local 좌표계로 변환할 수 있다.
상기 인코딩 방법은 인코딩된 베이스메쉬, 인코딩된 변위 데이터, 인코딩된 어트리뷰트 데이터 및/또는 아틀라스 데이터를 포함하는 비트스트림을 전송하는 단계를 더 포함할 수 있다.
본 개시의 인코딩 방법은 인코딩 장치(인코더)에 의해 수행될 수 있다. 인코딩 장치는 메모리, 및 메모리에 연결된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 메쉬 데이터의 프리-프로세싱, 메쉬 데이터의 베이스메쉬를 인코딩, 메쉬 데이터의 변위를 인코딩, 및 메쉬 데이터의 어트리뷰트를 인코딩하도록 구성될 수 있다.
실시예들은 도 19에 따른 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 저장매체를 더 포함한다.
실시예들은 메쉬 데이터에 대한 비트스트림을 획득하는 단계, 상기 비트스트림은 메쉬 데이터의 베이스메쉬를 인코딩하는 단계, 메쉬 데이터의 변위를 인코딩하는 단계, 및 메쉬 데이터의 어트리뷰트를 인코딩하는 단계에 기초하여 생성됨, 및 상기 비트스트림을 포함하는 데이터를 전송하는 단계를 포함하는 방법을 더 포함한다.
도 20은 실시예들에 따른 디코딩 방법의 일 예시를 보인 흐름도이다. 실시예들에 따른 디코딩 방법은 비트스트림 내 베이스메쉬를 디코딩하는 단계(S32011), 비트스트림 내 변위를 디코딩하는 단계(S32012), 및 비트스트림 내 어트리뷰트를 디코딩하는 단계(S32013)를 포함할 수 있다. 도 20의 디코딩 단계는 베이스메쉬, 변위 데이터, 어트리뷰트 데이터를 포함하는 비트스트림 또는 비트스트림이 인캡슐레이션된 파일을 수신하는 단계를 더 포함할 수 있다. 상기 수신 단계는 파일이 수신되면 디캡슐레이션 과정을 수행하여 비트스트림을 추출하고, 비트스트림이 수신되면 디캡슐레이션 과정은 생략한다.
상기 비트스트림 내 베이스메쉬를 디코딩하는 단계(S32011)는 현재 메쉬가 화면간 인코딩이 적용된 경우라면, 이전의 디코딩된 모션 벡터를 예측자로 사용하여 베이스메쉬 비트스트림으로부터 디코딩된 잔차 모션 벡터와 더하여 최종 모션 벡터를 복원할 수 있다. 상기 상기 비트스트림 내 베이스메쉬를 디코딩하는 단계(S32011)는 현재 메쉬가 화면내 인코딩이 적용된 경우라면, 베이스메쉬 비트스트림을 스태틱 디코딩하여 베이스 메쉬의 연결 정보, 정점 지오메트리 정보, 텍스처 좌표, 노말 정보 등을 복원할 수 있다.
상기 비트스트림 내 변위를 디코딩하는 단계(S32012)는 변위 데이터가 비디오 코덱 기반으로 인코딩된 경우라면 비디오 코덱 기반으로 변위 비트스트림에 대해 디코딩을 수행하고, 산술 코덱 기반으로 인코딩된 경우라면 산술 코덱 기반으로 디코딩을 수행한다.
상기 비트스트림 내 어트리뷰트를 디코딩하는 단계(S32013)는 어트리뷰트 비트스트림을 비디오 코덱 기반으로 디코딩하여 어트리뷰트 데이터를 복원한다. 실시예들에 따르면, 어트리뷰트를 디코딩하는 단계(S32013)에서는 어트리뷰트 비트스트림이 디코딩된 후 시그널링 정보(또는 메타데이터)를 기반으로 각 정점의 어트리뷰트 정보(예, 텍스처 또는 텍스처 맵)을 복원할 수 있다. 여기서, 시그널링 정보는 정점별로 각 정점이 참조해야 할 텍스처 맵을 식별하기 위한 텍스처 맵 인덱스 정보와 그 텍스처 맵 내의 위치 정보(예, UV 좌표)를 포함한다.
상기 단계 S32011-S32013에서 디코딩된 베이스메쉬, 변위 데이터, 어트리뷰트 데이터는 메쉬 복원, 재구성과 같은 후 처리(post-processing) 과정을 거친 후 렌더링될 수 있다.
본 개시의 디코딩 방법은 디코딩 장치(디코더)에 의해 수행될 수 있다. 디코딩 장치는 메모리, 및 메모리에 연결된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 비트스트림 내 베이스메쉬를 디코딩, 비트스트림 내 변위를 디코딩, 및 비트스트림 내 어트리뷰트를 디코딩하도록 구성될 수 있다.
이와 같이, 본 개시는 메쉬 패치를 2D 이미지 상에 패킹할 때, 이전 프레임의 매쉬 패치 패킹 결과를 참조하여 패킹함으로써, 비디오의 시간적 일관성을 반영할 수 있게 되었다. 즉, 단순화된 메쉬를 메쉬 패치 단위로 분할하고 이를 2D 이미지 상에 매핑할 때 이전 프레임의 메쉬 패치 패킹 결과를 참조하여 최대한 유사한 메쉬 패치들은 비슷한 위치로 매핑될 수 있게 함으로써, 매핑된 위치를 바탕으로 재생성된 텍스처 좌표들은 화면 간 유사성을 유지할 수 있다. 그 결과 텍스처 좌표를 기준으로 재생성된 텍스처 맵 이미지들은 프레임 간 유사한 구조 및 형태를 가질 수 있게 되며, 이를 비디오 코덱을 이용하여 압축할 때 화면 간 예측이 효과적으로 적용됨으로써 보다 향상된 압축 성능을 가질 수 있게 된다.
따라서, 텍스처 맵 비디오 압축 성능을 향상시킬 수 있고, 이는 곧 V-Mesh를 이용한 메쉬 콘텐츠 압축 성능 향상과 연결된다. 위에서 언급한 바대로, 인코딩된 메쉬 비트스트림에서 비디오 비트스트림이 차지하는 비중이 매우 크기 때문에 이에 대한 개선을 통해 메쉬 시스템에서 요구되는 리소스 점유율을 낮추고 사용 비용을 감소시킴으로써, 보다 효율적으로 메쉬 시스템이 동작하고 메쉬를 활용한 어플리케이션의 사용 범위가 확장되게 하는 효과를 얻을 수 있다. 특히, 이전 프레임의 메쉬 패치 패킹 결과를 반영한 매쉬 패치 패킹 방법은 사용자가 직접 메쉬 콘텐츠를 생성, 제작하고 이것을 전송하여 활용하는 경우 더욱 활용가치가 높다. 예를 들어 사용자의 모습을 반영한 3D 객체를 이용하여 실시간 소통을 주고받는 AR/홀로그램 기반의 화상회의 시스템과 같은 시스템/플랫폼/서비스 등이 그 예가 될 수 있다. 이와 같이 본 개시는 V-Mesh의 사용성을 높이는 효과를 줄 수 있다.
지금까지 설명한 바와 같이 본 개시는 단순화된 메쉬의 텍스처 좌표를 생성할 때 프레임 간 이미지 유사성을 반영함으로써, 프레임 간 이미지 상관관계가 높은 (다시 말해, 시간적 일관성이 최대한 반영된) 텍스처 맵을 재생성할 수 있다. 이로 인해, V-Mesh의 다이나믹 메쉬의 압축 성능을 향상시킬 수 있으며, 특히 메쉬의 텍스처 맵 비디오의 압축 성능을 향상시킬 수 있다.
전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 소프트웨어, 프로세서, 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서, 소프트웨어, 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블락/유닛들은 프로세서, 소프트웨어, 하드웨어로서 동작할 수 있다. 또한, 실시예들이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 “…부”등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서는 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 통상의 기술자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 실시예들의 권리범위에 속한다.
실시예들에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
실시예들의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 실시예들은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 실시예들의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 실시예들의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
실시예들의 장치의 다양한 구성요소들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 수행될 수 있다. 실시예들의 다양한 구성요소들은 하나의 칩, 예를 들면 하나의 하드웨어 서킷으로 구현될 수 있다. 실시예들에 따른 구성요소들은 각각 별도의 칩들로 구현될 수 있다. 실시예들에 따른 장치의 구성요소들 중 적어도 하나 이상은 하나 또는 그 이상의 프로그램들을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있으며, 하나 또는 그 이상의 프로그램들은 실시예들에 따른 동작/방법들 중 어느 하나 또는 그 이상의 동작/방법들을 수행시키거나, 수행시키기 위한 인스트럭션들을 포함할 수 있다. 실시예들에 따른 장치의 방법/동작들을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다. 또한, 인터넷을 통한 전송 등과 같은 반송파의 형태로 구현되는 것도 포함될 수 있다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이 문서에서 "/"와 ","는 "및/또는"으로 해석된다. 예를 들어, "A/B"는 "A 및/또는 B"로 해석되고, "A, B"는 "A 및/또는 B"로 해석된다. 추가적으로, "A/B/C"는 "A, B, 및/또는 C 중 적어도 하나"를 의미한다. 또한, "A, B, C"도 "A, B 및/또는 C 중 적어도 하나"를 의미한다. 추가적으로, 이 문서에서 “또는”는 “및/또는”으로 해석된다. 예를 들어, "A 또는 B"은, 1) "A"만을 의미하고, 2) "B"만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 달리 표현하면, 본 문서의 “또는”은 “추가적으로 또는 대체적으로(additionally or alternatively)”를 의미할 수 있다.
실시예들의 다양한 엘리먼트들은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합에 의해 수행될 수 있다. 실시예들의 다양한 엘리먼트는 하드웨어 회로와 같은 싱글 칩 상에서 수행될 수 있다. 실시예들에 따라, 실시예들은 선택적으로 개별적인 칩들 상에서 수행될 수 있다. 실시예들에 따라, 실시예들의 엘리먼트들 중 적어도 하나는 실시예들에 따른 동작을 수행하는 인스트럭션들을 포함하는 하나 또는 하나 이상의 프로세서 내에서 수행될 수 있다.
또한, 본 문서에서 설명하는 실시예들에 따른 동작은 실시예들에 따라서 하나 이상의 메모리들 및/또는 하나 이상의 프로세서들을 포함하는 송수신 장치에 의해 수행될 수 있다. 하나 이상의 메모리들을 실시예들에 따른 동작을 처리/제어하기 위한 프로그램들을 저장할 수 있고, 하나 이상의 프로세서들을 본 문서에서 설명한 다양한 동작을 제어할 수 있다. 하나 이상의 프로세서들은 컨트롤러 등으로 지칭 가능하다. 실시예들에 동작들은 펌웨어, 소프트웨어, 및/또는 그것들의 조합에 의해 수행될 수 있고, 펌웨어, 소프트웨어, 및/또는 그것들의 조합은 프로세서에 저장되거나 메모리에 저장될 수 있다.
제1, 제2 등과 같은 용어는 실시예들의 다양한 구성요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성요소들은 위 용어들에 의해 해석이 제한되어서는 안된다. 이러한 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용되는 것에 불과하다. 예를 들어, 제1 사용자 인풋 시그널은 제2사용자 인풋 시그널로 지칭될 수 있다. 이와 유사하게, 제2사용자 인풋 시그널은 제1사용자 인풋 시그널로 지칭될 수 있다. 이러한 용어의 사용은 다양한 실시예들의 범위 내에서 벗어나지 않는 것으로 해석되어야만 한다. 제1사용자 인풋 시그널 및 제2사용자 인풋 시그널은 모두 사용자 인풋 시그널들이지만, 문맥 상 명확하게 나타내지 않는 한 동일한 사용자 인풋 시그널들을 의미하지 않는다.
실시예들을 설명하기 위해 사용된 용어는 특정 실시예들을 설명하기 위한 목적으로 사용되고, 실시예들을 제한하기 위해서 의도되지 않는다. 실시예들의 설명 및 청구항에서 사용된 바와 같이, 문맥 상 명확하게 지칭하지 않는 한 단수는 복수를 포함하는 것으로 의도된다. 및/또는 표현은 용어 간의 모든 가능한 결합을 포함하는 의미로 사용된다. “포함한다” 표현은 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들이 존재하는 것을 설명하고, 추가적인 특징들, 수들, 단계들, 엘리먼트들, 및/또는 컴포넌트들을 포함하지 않는 것을 의미하지 않는다. 실시예들을 설명하기 위해 사용되는, ~인 경우, ~때 등의 조건 표현은 선택적인 경우로만 제한 해석되지 않는다. 특정 조건을 만족하는 때, 특정 조건에 대응하여 관련 동작을 수행하거나, 관련 정의가 해석되도록 의도되었다.
상술한 바와 같이, 실시예들을 실시하기 위한 최선의 형태에서 관련 내용을 설명하였다.
상술한 바와 같이, 실시예들은 메쉬 데이터 송수신 장치 및 시스템에 전체적 또는 부분적으로 적용될 수 있다. 당업자는 실시예들의 범위 내에서 실시예들을 다양하게 변경 또는 변형할 수 있다. 실시예들은 변경/변형들을 포함할 수 있고, 변경/변형은 청구항들 및 그 와 동일한 것들의 범위를 벗어나지 않는다.

Claims (15)

  1. 입력되는 메쉬 데이터를 프리-프로세싱하는 단계;
    상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩하는 단계;
    상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩하는 단계; 및
    상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하는 단계; 를 포함하는,
    인코딩 방법.
  2. 제 1항에 있어서, 상기 프리-프로세싱하는 단계는
    상기 입력되는 메쉬 데이터가 다수의 텍스처 맵들을 포함하면, 상기 다수의 텍스처 맵들의 유사도를 기반으로 상기 다수의 텍스처 맵들의 배치를 재구성하는 단계를 포함하는 인코딩 방법.
  3. 제 2항에 있어서,
    상기 재구성 단계는 상기 다수의 텍스처 맵들의 텍스처 맵 인덱스 정보의 순서를 바꿔서 상기 다수의 텍스처 맵들의 배치를 재구성하는 인코딩 방법.
  4. 제 2항에 있어서,
    상기 다수의 텍스처 맵들은 하나의 프레임에 대응되며, 상기 프레임 내 각 정점을 위한 시그널링 정보는 해당 정점이 참조하는 텍스처 맵의 인덱스 정보와 상기 참조하는 텍스처 맵 내 위치 정보를 포함하는 인코딩 방법.
  5. 제2 항에 있어서, 상기 프리-프로세싱하는 단계는
    상기 다수의 텍스처 맵들을 포함하는 메쉬 데이터를 단순화하여, 단순화된 메쉬 데이터를 생성하는 단계,
    상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하는 단계, 및
    상기 텍스처 좌표를 갖는 단순화된 메쉬 데이터를 서브 디비전한 후 상기 입력 메쉬 데이터와 유사해지도록 핏팅을 수행하여 핏팅된 서브디비전된 메쉬 데이터를 생성하는 단계를 더 포함하는 인코딩 방법.
  6. 제 5 항에 있어서, 상기 텍스처 좌표 생성 단계는
    상기 단순화된 메쉬 데이터를 구성하는 폴리곤 또는 정점 특성을 기준으로 유사 특성을 갖는 폴리곤 또는 정점들끼리 결합하여 분할을 수행하는 단계,
    상기 단계에서 분할된 폴리곤 또는 정점들의 집합을 기반으로 현재 프레임의 매쉬 패치들을 생성하는 단계, 및
    상기 현재 프레임의 메쉬 패치들을 메쉬 패치 패킹이 완료된 이전 프레임의 메쉬 패치 패킹 결과를 기반으로 2D 이미지 상에 패킹하여, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하는 단계를 포함하는 인코딩 방법.
  7. 제 6 항에 있어서, 상기 패킹 단계는
    상기 이전 프레임의 메쉬 패치들 중 현재 프레임의 현재 메쉬 패치와 매칭되는 메쉬 패치가 있는지를 확인하는 단계, 및
    상기 단계에서 매칭되는 메쉬 패치가 상기 이전 프레임에 있다고 확인되면, 상기 현재 메쉬 패치의 2D 이미지 상의 매핑 위치는 상기 이전 프레임 내 매칭된 메쉬 패치의 매핑 위치를 기반으로 결정하고, 상기 결정된 2D 이미지 상의 매핑 위치에 상기 현재 메쉬 패치를 패킹하는 단계를 포함하는 인코딩 방법.
  8. 제 7 항에 있어서, 상기 메쉬 패치 매칭 확인 단계는
    상기 이전 프레임의 메쉬 패치들 중 상기 현재 메쉬 패치와 방향이 같고 메쉬 패치를 구성하는 폴리곤 및/또는 정점들의 개수가 유사하면, 해당 메쉬 패치는 상기 현재 메쉬 패치에 매칭된다고 판단하는 인코딩 방법.
  9. 제 7 항에 있어서, 상기 어트리뷰트 데이터를 인코딩하는 단계는
    상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표와 상기 입력 메쉬 데이터의 각 정점의 텍스처 좌표를 기반으로 텍스처 좌표를 재생성하여 비디오 인코딩하는 인코딩 방법.
  10. 메모리; 및
    상기 메모리에 연결된 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는:
    입력되는 메쉬 데이터를 프리-프로세싱;
    상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩;
    상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩; 및
    상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩; 하도록 구성되는,
    인코딩 장치.
  11. 제 10항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 입력되는 메쉬 데이터가 다수의 텍스처 맵들을 포함하면, 상기 다수의 텍스처 맵들의 유사도를 기반으로 상기 다수의 텍스처 맵들의 배치를 재구성하는 인코딩 장치.
  12. 제11 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 다수의 텍스처 맵들을 포함하는 메쉬 데이터를 단순화하여, 단순화된 메쉬 데이터를 생성하고,
    상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하고, 및
    상기 텍스처 좌표를 갖는 단순화된 메쉬 데이터를 서브 디비전한 후 상기 입력 메쉬 데이터와 유사해지도록 핏팅을 수행하여 핏팅된 서브디비전된 메쉬 데이터를 생성하는 인코딩 장치.
  13. 제 12 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 단순화된 메쉬 데이터를 구성하는 폴리곤 또는 정점 특성을 기준으로 유사 특성을 갖는 폴리곤 또는 정점들끼리 결합하여 분할을 수행하고,
    상기 단계에서 분할된 폴리곤 또는 정점들의 집합을 기반으로 현재 프레임의 매쉬 패치들을 생성하고, 및
    상기 현재 프레임의 메쉬 패치들을 메쉬 패치 패킹이 완료된 이전 프레임의 메쉬 패치 패킹 결과를 기반으로 2D 이미지 상에 패킹하여, 상기 단순화된 메쉬 데이터의 각 정점의 텍스처 좌표를 생성하는 인코딩 장치.
  14. 제10항에 따른 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 저장매체.
  15. 메쉬 데이터에 대한 비트스트림을 획득하는 단계,
    상기 비트스트림은 입력되는 원본 메쉬 데이터를 프리-프로세싱하는 단계; 상기 프리-프로세싱된 메쉬 데이터의 베이스메쉬를 인코딩하는 단계; 상기 프리-프로세싱된 메쉬 데이터의 변위 데이터를 인코딩하는 단계; 및 상기 프리-프로세싱된 메쉬 데이터의 어트리뷰트 데이터를 인코딩하는 단계; 에 기초하여 생성됨; 및
    상기 비트스트림을 포함하는 데이터를 전송하는 단계를 포함하는, 방법.
PCT/KR2025/008910 2024-06-25 2025-06-25 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법 Pending WO2026005484A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20240082350 2024-06-25
KR10-2024-0082350 2024-06-25

Publications (1)

Publication Number Publication Date
WO2026005484A1 true WO2026005484A1 (ko) 2026-01-02

Family

ID=98222393

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/008910 Pending WO2026005484A1 (ko) 2024-06-25 2025-06-25 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법

Country Status (1)

Country Link
WO (1) WO2026005484A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046399A (ko) * 2014-10-20 2016-04-29 삼성에스디에스 주식회사 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
KR20200027004A (ko) * 2017-07-21 2020-03-11 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 게임 렌더링 방법, 및 게임 자원 파일 생성 방법, 장치, 및 기기
KR20230137993A (ko) * 2022-01-10 2023-10-05 텐센트 아메리카 엘엘씨 추론된 텍스처 좌표들을 갖는 메시 압축
KR20240056412A (ko) * 2022-10-21 2024-04-30 한국전자통신연구원 이미지 타일링을 이용한 변위 비디오 부호화 방법 및 장치
KR20240090947A (ko) * 2022-09-22 2024-06-21 텐센트 아메리카 엘엘씨 다중 속성 맵 병합

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160046399A (ko) * 2014-10-20 2016-04-29 삼성에스디에스 주식회사 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
KR20200027004A (ko) * 2017-07-21 2020-03-11 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 게임 렌더링 방법, 및 게임 자원 파일 생성 방법, 장치, 및 기기
KR20230137993A (ko) * 2022-01-10 2023-10-05 텐센트 아메리카 엘엘씨 추론된 텍스처 좌표들을 갖는 메시 압축
KR20240090947A (ko) * 2022-09-22 2024-06-21 텐센트 아메리카 엘엘씨 다중 속성 맵 병합
KR20240056412A (ko) * 2022-10-21 2024-04-30 한국전자통신연구원 이미지 타일링을 이용한 변위 비디오 부호화 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2020190114A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024063544A1 (ko) 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2020189895A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022220382A1 (ko) 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 수신 방법 및 포인트 클라우드 데이터 수신 장치
WO2020189982A1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
WO2024049197A1 (ko) 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2020262824A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021029511A1 (ko) 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023182762A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2023068846A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024043750A1 (ko) 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2024123039A1 (ko) 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2024043659A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024185940A1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2024191257A1 (ko) 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2025048542A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2024215096A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2026005484A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2023132605A1 (ko) 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법
WO2025150718A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2024225768A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2026005485A1 (ko) 메쉬 데이터 부호화 장치, 메쉬 데이터 부호화 방법, 메쉬 데이터 복호화 장치 및 메쉬 데이터 복호화 방법
WO2024225702A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2025220986A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법
WO2024219901A1 (ko) 메쉬 데이터 송신 장치, 메쉬 데이터 송신 방법, 메쉬 데이터 수신 장치 및 메쉬 데이터 수신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827054

Country of ref document: EP

Kind code of ref document: A1