WO2023211255A1 - 포인트 클라우드 압축 방법 및 장치 - Google Patents

포인트 클라우드 압축 방법 및 장치 Download PDF

Info

Publication number
WO2023211255A1
WO2023211255A1 PCT/KR2023/005910 KR2023005910W WO2023211255A1 WO 2023211255 A1 WO2023211255 A1 WO 2023211255A1 KR 2023005910 W KR2023005910 W KR 2023005910W WO 2023211255 A1 WO2023211255 A1 WO 2023211255A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
current
point cloud
geometric information
prediction unit
Prior art date
Application number
PCT/KR2023/005910
Other languages
English (en)
French (fr)
Inventor
안용조
이종석
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Publication of WO2023211255A1 publication Critical patent/WO2023211255A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an encoder and a decoder, and more specifically, to a method and device for encoding and decoding for point cloud compression.
  • Point cloud content is content expressed as a point cloud, which is a set of points belonging to a coordinate system expressing three-dimensional space.
  • Point clouds can express three-dimensional media, including VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality), XR (Extended Reality), and autonomous driving services. It can be used to provide various services such as:
  • the present invention proposes an inter-frame prediction method and device for compressing point clouds.
  • the inter-frame prediction method proposed in the present invention seeks to provide high coding efficiency by approximating the reference point cloud to a plurality of triangles and using it for prediction.
  • a point cloud compression method and device are provided to solve the above problems.
  • a point cloud compression method and apparatus performs global motion compensation based on a previous frame of the current frame, divides the current frame into a plurality of prediction units, and localizes the current prediction unit.
  • motion compensation By performing motion compensation, a motion-compensated point within the current prediction unit can be determined, and geometric information of the current point within the current prediction unit can be determined based on the motion-compensated point.
  • the point cloud compression method and device derives a prediction statistic value based on a motion-compensated point included in a predefined specific area around the current point, and based on the prediction statistic value. Geometric information of the current point can be determined.
  • the geometric information of the current point may include a symbol indicating whether the current point is occupied.
  • a symbol indicating whether the current point is occupied may be entropy-encoded using the predicted statistical value as a probability.
  • the specific area around the current point may be defined as an area containing voxels adjacent to the front, back, left, right, upper, and lower sides of the current point. You can.
  • a specific area around the current point may be defined as a cubic area centered on the current point and including adjacent voxels adjacent to the current point.
  • the point cloud compression method and device divides the current prediction unit into at least one triangle based on the motion compensated point, and divides the divided triangle into at least one triangle based on the motion compensated point.
  • the points contained in the plane can be determined.
  • the point cloud compression method and apparatus may determine geometric information of the current point based on at least one of the motion compensated point or the point included in the plane of the divided triangle.
  • a point cloud compression method and apparatus obtains a plurality of vertices based on a plurality of motion compensated points adjacent to edges of the current prediction unit, connects the plurality of vertices, and
  • the prediction unit may be divided into the at least one triangle.
  • the current prediction unit is divided into regions having a size of 1x1x1 based on a predefined tree structure, and the current point is an area of the region having the size of 1x1x1. It may correspond to a central location.
  • the predefined tree structure may include at least one of a binary tree, a quad tree, and an oct tree.
  • Video signal coding efficiency can be improved through the point cloud compression method and device according to the present invention.
  • coding efficiency can be improved by approximating the reference point cloud according to the present invention to a plurality of triangles and using it for inter-frame prediction.
  • FIG. 1 is a block diagram showing an example of a point cloud encoder according to an embodiment of the present disclosure.
  • Figure 2 is a block diagram showing an example of a point cloud decoder according to an embodiment of the present disclosure.
  • Figure 3 is a block diagram showing an example of a geometric information encoding unit according to an embodiment of the present disclosure.
  • Figure 4 is a block diagram showing an example of a geometric information decoding unit according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a point in a three-dimensional space expressed in two dimensions according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of statistical value prediction of surrounding points performed by an intra-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of local motion compensation performed in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a method for generating a triangle for inter-frame prediction according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of a method for generating prediction statistics using motion-compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • Figure 14 is a flowchart illustrating a point cloud compression method according to an embodiment of the present disclosure.
  • some of the components of the device or some of the steps of the method may be omitted. Additionally, the order of some of the components of the device or some of the steps of the method may be changed. Additionally, other components or steps may be inserted into some of the components of the device or steps of the method.
  • each component is listed and described as each component, and at least two of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated embodiments and separate embodiments of each of these components are also included in the scope of the present invention as long as they do not deviate from the essence of the present invention.
  • the video decoding apparatus includes private security cameras, private security systems, military security cameras, military security systems, personal computers (PCs), laptop computers, portable multimedia players (PMPs, Portable MultimediaPlayers), It may be a device included in a server terminal such as a wireless communication terminal, smart phone, TV application server, and service server, and may be used as a terminal for various devices, etc., and communication to communicate with wired and wireless communication networks.
  • Various devices including communication devices such as modems, memory for storing various programs and data for decoding or predicting between screens or within screens for decoding, and microprocessors for calculating and controlling programs by executing them. It can mean.
  • the video encoded into a bitstream by the encoder is transmitted in real time or non-real time through wired and wireless communication networks such as the Internet, wireless short-range communication network, wireless LAN network, WiBro network, and mobile communication network, or through cable or universal serial bus (USB). , Universal Serial Bus, etc., can be transmitted to a video decoding device, decoded, restored to video, and played back.
  • the bitstream generated by the encoder may be stored in memory.
  • the memory may include both volatile memory and non-volatile memory. In this specification, memory can be expressed as a recording medium that stores a bitstream.
  • a video may be composed of a series of pictures, and each picture may be divided into coding units such as blocks.
  • picture described below can be used in place of other terms with equivalent meaning, such as image, frame, etc. There will be.
  • coding unit can be used in place of other terms with equivalent meaning, such as unit block, block, etc.
  • FIG. 1 is a block diagram showing an example of a point cloud encoder according to an embodiment of the present disclosure.
  • the point cloud encoder 100 includes a coordinate system transformation unit 110, a geometric information encoding unit 120, a storage unit 130, a geometric information decoding unit 140, an attribute information correction unit 150, It may include an attribute information encoding unit 160, an attribute information decoding unit 170, and an entropy encoding unit 180.
  • the point cloud encoder 100 shown in FIG. 1 is an example, and the present disclosure is not limited thereto, and the point cloud encoder 100 may have other configurations added to the configuration shown in FIG. 1 or the configuration shown in FIG. 1. Some of the configurations may be omitted and implemented.
  • the point cloud encoder 100 may receive an original point cloud as input and perform encoding to generate a bitstream.
  • Point cloud is point cloud content expressed as a point cloud, which is a set of points located in three-dimensional space, and may be referred to as point cloud video data, etc.
  • a point cloud according to embodiments of the present disclosure may include one or more frames. One frame represents a still image/picture. Therefore, a point cloud may include a point cloud image/frame/picture, and may be referred to as any one of a point cloud image, frame, and picture.
  • a point cloud may include one or more frames. Additionally, point cloud data may include geometric information and/or attribute information. Geometric information may include location information of points. Attribute information may include information indicating the attributes of a point. As an example, attribute information may include information about a point's texture information, color (YCbCr or RGB), reflectance, transparency, etc.
  • the coordinate system conversion unit 110 may receive information from the original point cloud and perform coordinate system conversion.
  • the original point cloud may be obtained from one or more cameras.
  • coordinate system transformation of points can be performed based on the position coordinates of each camera.
  • One point cloud data can be generated by performing coordinate system transformation on the points of the point cloud video obtained from each camera. Accordingly, point cloud content representing one wide area can be generated, or point cloud content with a high density of points can be generated.
  • coordinate system transformation may mean converting from a world coordinate system to a frame coordinate system. Alternatively, it may mean conversion from a Cartesian coordinate system to a cylindrical or spherical coordinate system. Alternatively, it may mean conversion from a cylindrical or spherical coordinate system to a Cartesian coordinate system. Geometric information transformed into a coordinate system may be transmitted to the geometric information encoding unit 120.
  • the geometric information encoder 120 may receive geometric information and the restored point cloud and encode them to generate symbols related to geometric information.
  • the generated symbols related to geometric information may be transmitted to the entropy encoding unit 180 and the geometric information decoding unit 140.
  • the geometric information encoding unit 120 will be described in detail later with reference to FIG. 3 .
  • the geometric information decoding unit 140 can restore the geometric information of the point cloud by receiving symbols related to geometric information and the restored point cloud and decoding them.
  • the restored geometric information may be transmitted to the attribute information correction unit 150. Additionally, it may be transmitted to the storage unit 130 along with the restored point cloud attribute information.
  • the geometric information decoding unit 140 will be described in detail later with reference to FIG. 4 .
  • the attribute information correction unit 150 may receive the restored geometric information and the original point cloud, correct the attribute information, and then transmit the corrected attribute information to the attribute information encoder 160.
  • attribute information correction may be a process of correcting attribute information in consideration of errors resulting from encoding/decoding of geometric information.
  • a new point may be created or removed during the geometric information encoding/decoding process.
  • a process of assigning new attribute information according to the geometric information restored based on the attribute information of the original point cloud may be performed.
  • attribute information may be given as a value calculated using attribute information of adjacent points based on the distance between the current point and points in the original point cloud.
  • the attribute information encoder 160 may encode attribute information of the point cloud using the input restored geometric information and corrected attribute information and generate symbols related to the attribute information.
  • the generated attribute information-related symbols may be transmitted to the entropy encoding unit 180. Additionally, symbols related to attribute information may be transmitted to the attribute information decoding unit 170.
  • the entropy encoding unit 180 may generate a bitstream by entropy encoding symbols related to the received geometric information and attribute information.
  • the generated bitstream may be output from the point cloud encoder 100.
  • the attribute information decoder 170 may restore point cloud attribute information by decoding symbols related to the input attribute information.
  • the restored attribute information may be transmitted to the storage unit 130 along with the restored geometric information.
  • the storage unit 130 may store geometric information and attribute information of the restored point cloud.
  • the stored point cloud may be transmitted to the geometric information encoding unit 120 and the geometric information decoding unit 140.
  • Figure 2 is a block diagram showing an example of a point cloud decoder according to an embodiment of the present disclosure.
  • the point cloud decoder 200 includes an entropy decoder 210, a geometric information decoder 220, an attribute information decoder 230, a storage unit 240, and a coordinate system inversion unit 250. It can be included.
  • the point cloud decoder 200 shown in FIG. 2 is an example, and the present disclosure is not limited thereto, and the point cloud decoder 200 may have other configurations added to the configuration shown in FIG. 2 or the configuration shown in FIG. 1. Some of the configured configurations may be omitted and implemented. Additionally, the point cloud decoder 200 of FIG. 2 may perform substantially the same operation as that of the point cloud encoder 100 of FIG. 1. In relation to this, descriptions overlapping with FIG. 1 will be omitted.
  • the point cloud decoder can restore the point cloud by receiving a bitstream and performing decoding.
  • the entropy decoder 210 can receive and decode a bitstream to restore symbols related to the geometric information and attribute information of the point cloud.
  • the restored geometric information-related symbols may be transmitted to the geometric information decoding unit 220. Additionally, the restored attribute information-related symbols may be transmitted to the attribute information decoding unit 230.
  • the geometric information decoding unit 220 can restore the geometric information of the point cloud by receiving and decoding the restored geometric information-related symbols and the restored point cloud.
  • the restored geometric information may be transmitted to the storage unit 240 in the form of a restored point cloud together with the attribute information decoder and the restored attribute information.
  • the attribute information decoding unit 230 may receive symbols related to the restored attribute information and the restored geometric information and decode them to restore the attribute information.
  • the restored attribute information may be stored in the storage unit 240 in the form of a restored point cloud along with the restored geometric information.
  • the storage unit 240 may store the received restored point cloud. Thereafter, the point cloud stored for the next point decoding may be transmitted to the geometric information decoding unit 220. Additionally, the point cloud restored for output may be transmitted to the coordinate system inversion unit 250.
  • the coordinate system inversion unit 250 may perform coordinate system inversion on the geometric information of the input restored point cloud and output (or render) it.
  • the coordinate system inverse transformation may be the reverse process of the coordinate system transformation performed by the point cloud encoder.
  • coordinate system inverse transformation may be performed based on information received from the point cloud encoder 100.
  • Figure 3 is a block diagram showing an example of a geometric information encoding unit according to an embodiment of the present disclosure.
  • the geometric information encoding unit 300 may include a point dividing unit 310, a geometric information symbol generating unit 320, an intra-frame prediction unit 330, and an inter-frame prediction unit 340. .
  • the geometric information encoding unit 300 shown in FIG. 3 is an example, and the present disclosure is not limited thereto, and the geometric information encoding unit 300 may have other configurations added to the configuration shown in FIG. 3 or may be configured as shown in FIG. 3. Some of the configured configurations may be omitted and implemented.
  • the geometric information encoding unit 300 of FIG. 3 may be an example of the geometric information encoding unit 120 of FIG. 1 described above.
  • the geometric information encoder 300 may receive and encode the geometric information of the original point cloud and the restored point cloud to generate a geometric information symbol.
  • the point division unit 310 may receive geometric information of the original point cloud and divide the points. At this time, point division may be a step of recursively dividing a 3D volume based on a binary tree, quadtree, or octree.
  • the last node of the divided tree structure may be a three-dimensional cubic space with a volume of 1x1x1.
  • the last node of this divided tree structure may be referred to as a voxel.
  • a voxel may refer to the minimum unit that expresses location information in three-dimensional space.
  • Points of the point cloud according to embodiments of the present disclosure may be included in one or more voxels. Groups of points in three-dimensional space can be matched into voxels.
  • a binary tree, quadtree, or octree partition structure may represent points matched to voxels based on a binary, photo, or octree structure, respectively.
  • splitting may be performed until the leaf nodes of each tree structure become voxels.
  • whether or not the node contains at least one point may be considered. That is, additional division may not be performed on nodes that do not contain at least one point.
  • the divided point cloud may be transmitted to the geometric information symbol generator 320.
  • the point division unit 310 may refer to a process of converting and expressing coordinate values in a three-dimensional space into a tree structure.
  • the intra-frame prediction unit 330 may receive the restored point cloud, generate a prediction statistical value for the occupancy information of the current point, and transmit it to the geometric information symbol generation unit 320.
  • the predicted statistical value may be a probability value for whether the current point occupies the current location. Alternatively, it may be a probability value for a flag regarding whether to split among the split information generated in the process of splitting into a tree structure.
  • the predicted statistical value of the present disclosure is a value used to generate a geometric information symbol representing occupancy information, and is not limited to the name, prediction, statistics, probability, predicted value, statistical value, probability value, occupancy prediction, occupancy statistics, occupancy. It may also be referred to as probability, occupancy prediction value, occupancy statistical value, occupancy probability value, context, occupancy context, etc.
  • the inter-frame prediction unit 340 performs global motion compensation and/or local motion compensation on the input restored point cloud, generates a prediction statistical value using the compensated points around the current point, and generates geometric information. It can be transmitted to the symbol creation unit 320.
  • the geometric information symbol generator 320 may receive the divided point cloud and predicted statistical values and generate a geometric information symbol for the current point. The generated geometric information symbol can be output.
  • Figure 4 is a block diagram showing an example of a geometric information decoding unit according to an embodiment of the present disclosure.
  • the geometric information decoding unit 400 may include a segmentation structure restoration unit 410, an intra-frame prediction unit 420, and an inter-frame prediction unit 430.
  • the geometric information decoding unit 400 shown in FIG. 4 is an example, and the present disclosure is not limited thereto, and the geometric information decoding unit 400 may have other configurations added to the configuration shown in FIG. 4 or may be configured as shown in FIG. 4. Some of the configured configurations may be omitted and implemented.
  • the geometric information decoding unit 400 of FIG. 4 may be an example of the geometric information decoding unit 140 of FIG. 1 and the geometric information decoding unit 220 of FIG. 2 described above.
  • the geometric information decoding unit 400 of FIG. 4 may perform substantially the same operation as that of the geometric information encoding unit 300 of FIG. 3. In relation to this, descriptions overlapping with FIG. 3 will be omitted.
  • the geometric information decoder 400 may receive and decode the restored geometric information symbol and the restored point cloud to restore the geometric information of the point cloud.
  • the intra-frame prediction unit 420 may receive the restored point cloud, generate an intra-frame prediction statistical value for the occupancy information of the current point, and transmit it to the segmentation structure restoration unit 410.
  • the inter-frame prediction unit 430 performs global motion compensation and local motion compensation on the input restored point cloud, generates a prediction statistical value using the compensated points around the current point, and generates a prediction statistical value using the segmentation structure restoration unit ( 410).
  • the division structure restoration unit 410 may restore the tree division structure using the received restored geometric information symbols and predicted statistical values.
  • the segmentation structure restoration unit 410 may be a geometric information restoration unit or a geometric information generation unit. Geometric information of the restored points according to the tree structure can be output.
  • FIG. 5 is a diagram illustrating an example of a point in a three-dimensional space expressed in two dimensions according to an embodiment of the present disclosure.
  • a point to be encoded/decoded may mean a point to be encoded/decoded after the current point according to the encoding/decoding order.
  • Each point exists at a specific location within the current frame, and the coordinate value of the point may be a real number.
  • the coordinate value of the point may be a real number.
  • encoding/decoding can be performed sequentially once the starting position is determined, such as the upper left or lower right, but in the case of point clouds, it is difficult to determine the order for all points, and the original point cloud data Since the geometric information and attribute information of points are in the form of a general text format, there is a problem that the order of points does not match the order in space. To solve this problem, even if you try to assign order to each location in space, a discrepancy between the distance in order and the distance in space may occur because not all spaces are filled.
  • the point position information can be expressed as a volume voxel with a size of 1x1x1 using a tree structure.
  • a voxel may refer to the minimum unit representing location information in three-dimensional space.
  • Points of the point cloud according to embodiments of the present disclosure may be included in one or more voxels. Groups of points in three-dimensional space can be matched into voxels.
  • a voxel is a similar concept to a pixel of an image/video, but may additionally have information about occupancy.
  • FIG. 6 is a diagram illustrating an example of statistical value prediction of surrounding points performed by an intra-frame prediction unit according to an embodiment of the present disclosure.
  • the current frame may be divided into multiple voxels with a size of 1x1x1.
  • Each voxel may have occupancy information about the point.
  • occupancy information can be encoded efficiently through a recursive tree division structure.
  • a predicted statistical value for the current point 610 may be calculated (or derived) based on occupancy information of voxels surrounding the current point 610.
  • a predicted statistical value for the current point 600 may be derived based on points included in the statistical information extraction area 610.
  • the statistical information extraction area 610 is a shaded area in FIG. 6 and may represent an area for obtaining predicted statistical values. Additionally, the 3D area in the right picture of FIG. 6 may be a 2D representation of the statistical information extraction area 610 expressed in 3D space.
  • the symbol of the current point 600 may be determined according to the occupancy ratio of the points included in the statistical information extraction area 610.
  • the predicted statistical value for the current point 600 is determined according to the occupancy ratio of the points included in the statistical information extraction area 610, and a symbol representing the occupancy information for the current point 600 is generated based on this. It can be.
  • FIG. 7 is a diagram illustrating an example of local motion compensation performed in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • Figure 7 may represent a three-dimensional space in two dimensions for convenience of expression.
  • the inter-frame prediction unit may first perform global motion compensation for the previous frame and then perform local motion compensation.
  • Global motion compensation may represent motion compensation at a higher level
  • local motion compensation may represent motion compensation at a lower level.
  • global motion compensation may be performed at the frame level
  • local motion compensation may be performed at the block (or processing unit, prediction unit, or voxel) level within the frame.
  • the current frame and previous frame can be divided into multiple blocks for local motion compensation.
  • Local motion compensation can be performed individually for divided blocks.
  • Motion information used for motion compensation can be transmitted to the decoder through an entropy encoder.
  • the decoder can receive the relevant information and perform local motion compensation in the same way as the encoder.
  • the motion information may be in the form of a motion vector, as shown in the example of FIG. 7.
  • it may be in the form of a matrix used for 3D coordinate system transformation.
  • FIG. 8 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • local motion compensated points may exist around the current point 800.
  • a predicted statistical value can be obtained based on occupancy information of compensated points around the current point 800 in the statistical information extraction area 810 of FIG. 8.
  • the predicted statistical value may be calculated based on the number of restored points included in the statistical information extraction area 810.
  • the predicted statistical value may be derived as a ratio of the number of points that can be included in the statistical information extraction area 810 and the number of points currently included.
  • the number of points that can be included within the statistical information extraction area 810 is 5, and the number of restored points currently included is 1, in which case the predicted statistical value can be derived as 0.2.
  • the predicted statistical value can be derived as 1/11.
  • the predicted statistical value may be calculated by applying the distance between the location of the current point 800 and the locations of points that can be included in the statistical information extraction area 810 as a weight. At this time, various known distance calculation methods such as Manhattan distance, Euclidean distance, and Hamming distance may be used as the distance. Afterwards, the predicted statistical value can be obtained by dividing the weight sum of the restored points included in the statistical information extraction area 810 by the sum of all weights.
  • the predicted statistical value can then be used for entropy encoding/decoding in the entropy encoding unit and decoding unit.
  • the entropy encoding/decoding unit may use the predicted statistical value as a probability value for a symbol expressing whether the current point 800 is occupied.
  • FIG. 9 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • local motion compensated points may exist around the current point.
  • a predicted statistical value can be obtained based on occupancy information of compensated points around the current point 900 within the statistical information extraction area 910 of FIG. 9 .
  • a statistical information extraction area 910 as shown in FIG. 9 can be defined. there is.
  • the statistical information extraction area 910 may include upper, lower, left, and right surrounding points, and statistical information is extracted based on the three-dimensional area of the right picture of FIG. 9.
  • Area 910 may include surrounding points above, below, left, right, before, and after.
  • a predicted statistical value can be obtained through peripheral occupancy information included in the statistical information extraction area 910 as shown in FIG. 9 .
  • FIG. 10 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • local motion compensated points may exist around the current point.
  • a predicted statistical value can be obtained based on occupancy information of compensated points around the current point 1000 in the statistical information extraction area 1010 of FIG. 10 .
  • a statistical information extraction area 1010 as shown in FIG. 10 can be defined.
  • the statistical information extraction area 1010 may include the surrounding points of the top, bottom, left, right, top left, top right, bottom left, and bottom right, and the Based on the 3D area, the statistical information extraction area 1010 may include surrounding points of the cubic area.
  • a predicted statistical value can be obtained through occupancy information of an area included in the statistical information extraction area 1010 as shown in FIG. 10.
  • FIG. 11 is a diagram illustrating an example of a method for generating a triangle for inter-frame prediction according to an embodiment of the present disclosure.
  • local motion compensated points may exist as shown on the left side of FIG. 11.
  • the motion-compensated point may not exist exactly overlapping with the current point, and may not exist all around the current point.
  • coding efficiency for point occupancy information may decrease.
  • a triangle is created based on motion-compensated points within the current block, as shown in the right figure of FIG. 11, and voxels that overlap (overlap) the triangle are points. Considering that it is occupied, the points with local motion compensation can be approximated as a triangular surface.
  • the vertices of a triangle can be created based on points close to the edge of the current block, and a triangle can be created by connecting the vertices of the created triangle.
  • the number of triangles can be determined depending on the number of vertices of the created triangle.
  • the order of vertices may be determined based on their positions in three-dimensional space. For example, the vertex order projects vertices onto the x-y, y-z, and z-x planes, determines one plane based on the area of the square face created from the vertices, and rotates the vertices projected onto that plane clockwise. You can decide the order. Alternatively, the order can be determined based on the counterclockwise direction. Afterwards, multiple triangles can be created by connecting the vertices according to the determined order.
  • FIG. 12 is a diagram illustrating an example of a method for generating prediction statistics using motion compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • the hatched points may be points generated through the triangle approximation previously described in FIG. 11.
  • a predicted statistical value can be obtained based on occupancy information of compensated points around the current point 1200 in the statistical information extraction area 1210 of FIG. 12 .
  • the triangle approximation points may exist all around the current point 1200, regardless of the encoding/decoding order of the current point. Therefore, predicted statistical values can be obtained through occupancy information around the current point 1200 (above, below, in front, behind, left, and right), such as the 3D statistical information extraction area 1210 in the right picture of FIG. 12. there is.
  • FIG. 13 is a diagram illustrating an example of a method for generating prediction statistics using motion-compensated points in an inter-frame prediction unit according to an embodiment of the present disclosure.
  • the points indicated by hatching may be points generated through the triangle approximation previously described in FIG. 11.
  • a predicted statistical value can be obtained based on occupancy information of compensated points around the current point 1300 in the statistical information extraction area 1310 of FIG. 13 .
  • the triangle approximation points may exist all around the current point 1300, regardless of the encoding/decoding order of the current point. Therefore, predicted statistics can be obtained based on the 3D statistical information extraction area 1310 in the right picture of FIG. 13 and the occupancy information of the cubic area centered on the current point 1300.
  • Figure 14 is a flowchart illustrating a point cloud compression method according to an embodiment of the present disclosure.
  • the point cloud compression apparatus may perform global motion compensation based on the previous frame of the current frame (S1400).
  • the point cloud compression device may divide the current frame into a plurality of prediction units (S1410).
  • the point cloud compression device may determine motion-compensated points within the current prediction unit by performing local motion compensation on the current prediction unit (S1420).
  • the point cloud compression device may determine geometric information of the current point in the current prediction unit based on the motion compensated point (S1430).
  • the point cloud compression device derives prediction statistics based on motion compensated points included in a predefined specific area around the current point, and geometric information of the current point based on the prediction statistics. can be decided.
  • the geometric information of the current point may include a symbol indicating whether the current point is occupied.
  • a symbol indicating whether the current point is occupied may be entropy-encoded using the predicted statistical value as a probability.
  • a specific area around the current point may be defined as an area including voxels adjacent to the front, back, left, right, upper, and lower sides of the current point.
  • a specific area around the current point may be defined as a cubic area centered on the current point and including adjacent voxels adjacent to the current point.
  • the current prediction unit is divided into at least one triangle based on the motion compensated point, and the divided triangle is included in the plane based on the motion compensated point.
  • points can be determined.
  • Geometric information of the current point may be determined based on at least one of the motion compensated point or the point included in the plane of the divided triangle.
  • a plurality of vertices may be obtained based on a plurality of motion compensated points adjacent to the corners of the current prediction unit, and the plurality of vertices may be connected to divide the current prediction unit into the at least one triangle.
  • the current prediction unit is divided into regions having a size of 1x1x1 based on a predefined tree structure, and the current point may correspond to the center position of the region having a size of 1x1x1.
  • the predefined tree structure may include at least one of a binary tree, quad tree, or oct tree.
  • Embodiments according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention includes one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and FPGAs. It can be implemented by (field programmable gate arrays), processor, controller, microcontroller, microprocessor, etc.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processor controller, microcontroller, microprocessor, etc.
  • an embodiment of the present invention is implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above, and is a recording medium that can be read through various computer means.
  • the recording medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the recording medium may be those specifically designed and constructed for the present invention, or may be known and available to those skilled in the art of computer software.
  • recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROM (Compact Disk Read Only Memory) and DVD (Digital Video Disk), and floptical media.
  • magneto-optical media such as floptical disks
  • hardware devices specially configured to store and execute program instructions
  • program instructions may include machine language code such as that created by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • These hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • a device or terminal according to the present invention can be driven by instructions that cause one or more processors to perform the functions and processes described above.
  • such instructions may include interpreted instructions, such as script instructions such as JavaScript or ECMAScript instructions, executable code, or other instructions stored on a computer-readable medium.
  • the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
  • a computer program (also known as a program, software, software application, script or code) mounted on the device according to the present invention and executing the method according to the present invention includes a compiled or interpreted language or an a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including as a stand-alone program, module, component, subroutine, or other unit suitable for use in a computer environment.
  • Computer programs do not necessarily correspond to files in a file system.
  • a program may be stored within a single file that serves the requested program, or within multiple interacting files (e.g., files storing one or more modules, subprograms, or portions of code), or as part of a file that holds other programs or data. (e.g., one or more scripts stored within a markup language document).
  • the computer program may be deployed to run on a single computer or multiple computers located at one site or distributed across multiple sites and interconnected by a communications network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 포인트 클라우드 압축 방법 및 장치를 제공한다. 구체적으로, 포인트 클라우드 압축 방법 및 장치는 현재 프레임의 이전 프레임에 기초하여 전역적 움직임 보상을 수행하고, 상기 현재 프레임을 복수의 예측 유닛으로 분할하고, 현재 예측 유닛에 대한 지역적 움직임 보상을 수행함으로써 상기 현재 예측 유닛 내 움직임 보상된 포인트를 결정하고, 상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛 내 현재 포인트의 기하 정보를 결정할 수 있다.

Description

포인트 클라우드 압축 방법 및 장치
본 발명은 부호화기 및 복호화기에 관한 것으로, 보다 상세하게는, 포인트 클라우드 압축을 위한 부호화 및 복호화의 방법 및 장치에 관한 것이다.
포인트 클라우드 콘텐트는 3차원 공간을 표현하는 좌표계에 속한 점(포인트)들의 집합인 포인트 클라우드로 표현되는 콘텐츠이다. 포인트 클라우드는 3차원으로 이루어진 미디어를 표현할 수 있으며, VR (Virtual Reality, 가상현실), AR (Augmented Reality, 증강현실), MR (Mixed Reality, 혼합현실), XR (Extended Reality), 및 자율 주행 서비스 등의 다양한 서비스를 제공하기 위해 사용될 수 있다.
포인트 클라우드 콘텐츠를 표현하기 위해서는 방대한 양의 포인트 데이터가 필요하므로, 이러한 포인트 클라우드 데이터를 효율적으로 처리하기 위한 방법이 요구된다.
본 발명은 포인트 클라우드를 압축을 위하여 프레임간 예측 방법 및 장치를 제안한다.
이때, 본 발명에서 제안하는 프레임간 예측 방법은 참조 포인트 클라우드를 다수개의 삼각형으로 근사화하여 예측에 사용함으로써 높은 부호화 효율을 제공하고자 한다.
상기 과제를 해결하기 위한 포인트 클라우드 압축 방법 및 장치를 제공한다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치는, 현재 프레임의 이전 프레임에 기초하여 전역적 움직임 보상을 수행하고, 상기 현재 프레임을 복수의 예측 유닛으로 분할하고, 현재 예측 유닛에 대한 지역적 움직임 보상을 수행함으로써 상기 현재 예측 유닛 내 움직임 보상된 포인트를 결정하고, 상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛 내 현재 포인트의 기하 정보를 결정할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치는, 상기 현재 포인트 주변의 미리 정의된 특정 영역에 포함된 움직임 보상된 포인트에 기초하여 예측 통계값을 유도하고, 상기 예측 통계값에 기초하여 상기 현재 포인트의 기하 정보를 결정할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 현재 포인트의 기하 정보는 상기 현재 포인트의 점유 여부를 지시하는 심볼을 포함할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 현재 포인트의 점유 여부를 지시하는 심볼은 상기 예측 통계값을 확률로 이용하여 엔트로피 부호화될 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트의 전면, 후면, 좌측, 우측, 상측 및 하측에 인접한 복셀들을 포함하는 영역으로 정의될 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트를 중심으로 상기 현재 포인트에 인접한 인접한 복셀들을 포함하는 정육면체 영역으로 정의될 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치는, 상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛을 적어도 하나의 삼각형으로 분할하고, 상기 움직임 보상된 포인트에 기초하여 상기 분할된 삼각형의 평면에 포함된 포인트를 결정할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치는, 상기 움직임 보상된 포인트 또는 상기 분할된 삼각형의 평면에 포함된 포인트 중 적어도 하나에 기초하여 상기 현재 포인트의 기하 정보를 결정할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치는, 상기 현재 예측 유닛의 모서리들에 인접한 복수의 움직임 보상된 포인트들에 기초하여 복수의 꼭지점 획득하고, 상기 복수의 꼭지점을 연결하여 상기 현재 예측 유닛을 상기 적어도 하나의 삼각형으로 분할할 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 현재 예측 유닛은 미리 정의된 트리 구조에 기초하여 1x1x1 크기를 가지는 영역으로 분할되고, 상기 현재 포인트는 상기 1x1x1 크기를 가지는 영역의 중앙 위치에 대응될 수 있다.
본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법 및 장치에 있어서, 상기 미리 정의된 트리 구조는 바이너리 트리, 쿼드 트리 또는 옥트 트리 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 포인트 클라우드 압축 방법 및 장치를 통해 비디오 신호 코딩 효율을 향상시킬 수 있다.
또한, 본 발명에 따른 참조 포인트 클라우드를 다수개의 삼각형으로 근사화하여 프레임간 예측에 사용함으로써 부호화 효율을 향상시킬 수 있다.
도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화기의 일 예를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화기의 일 예를 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 기하 정보 부호화부의 일 예를 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 기하 정보 복호화부의 일 예를 나타내는 블록도이다.
도 5는 본 개시의 일 실시예에 따른 3차원 공간상의 포인트를 2차원으로 표현한 일 예를 나타내는 도면이다.
도 6는 본 개시의 일 실시예에 따른 프레임내 예측부에서 수행하는 주변 포인트의 통계값 예측에 대한 일 예를 나타내는 도면이다.
도 7은 본 개시의 일 실시예에 따른 프레임간 예측부에서 수행되는 지역적 움직임 보상의 일 예를 나타내는 도면이다. 도 8은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 9은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 프레임간 예측을 위해 삼각형을 생성하는 방법의 일 예를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법을 예시하는 흐름도이다.
본 명세서에 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다.
또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 이용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이용된다.
또한, 본 명세서에서 설명되는 장치 및 방법에 관한 실시예에 있어서, 장치의 구성 일부 또는, 방법의 단계 일부는 생략될 수 있다. 또한 장치의 구성 일부 또는, 방법의 단계 일부의 순서가 변경될 수 있다. 또한 장치의 구성 일부 또는, 방법의 단계 일부에 다른 구성 또는, 다른 단계가 삽입될 수 있다.
또한, 본 발명의 제1 실시예의 일부 구성 또는, 일부 단계는 본 발명의 제2 실시예에 부가되거나, 제2 실시예의 일부 구성 또는, 일부 단계를 대체할 수 있다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 이용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 민간 보안 카메라, 민간 보안 시스템, 군용 보안 카메라, 군용 보안 시스템, 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable MultimediaPlayer), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 이용이자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는, 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는, 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus)등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다. 또는, 부호화기에 의해 생성된 비트스트림은 메모리에 저장될 수 있다. 상기 메모리는 휘발성 메모리와 비휘발성 메모리를 모두 포함할 수 있다. 본 명세서에서 메모리는 비트스트림을 저장한 기록 매체로 표현될 수 있다.
통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 이용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 그리고 코딩 유닛이라는 용어는 단위 블록, 블록 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 이용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화기의 일 예를 나타내는 블록도이다.
도 1을 참조하면, 포인트 클라우드 부호화기(100)는 좌표계 변환부(110), 기하 정보 부호화부(120), 저장부(130), 기하 정보 복호화부(140), 속성 정보 보정부(150), 속성 정보 부호화부(160), 속성 정보 복호화부(170), 엔트로피 부호화부(180)를 포함할 수 있다. 도 1에 도시된 포인트 클라우드 부호화기(100)는 일 예로서, 본 개시가 이에 제한되는 것은 아니며, 포인트 클라우드 부호화기(100)는 도 1에 도시된 구성 외에 다른 구성이 추가되거나 도 1에 도시된 구성 중 일부 구성이 생략되어 구현될 수도 있다.
포인트 클라우드 부호화기(100)는 원본 포인트 클라우드를 입력 받아 부호화를 수행하여 비트스트림을 생성할 수 있다. 포인트 클라우드는 3차원 공간에 위치한 포인트들의 집합인 포인트 클라우드로 표현되는 포인트 클라우드 콘텐츠로서, 포인트 클라우드 비디오 데이터 등으로 호칭될 수 있다. 본 개시의 실시예들에 따른 포인트 클라우드는 하나 또는 그 이상의 프레임들을 포함할 수 있다. 하나의 프레임은 정지 영상/픽쳐를 나타낸다. 따라서, 포인트 클라우드는 포인트 클라우드 영상/프레임/픽처를 포함할 수 있으며, 포인트 클라우드 영상, 프레임 및 픽처 중 어느 하나로 호칭될 수 있다.
본 개시에서, 포인트 클라우드는 하나 이상의 프레임을 포함할 수 있다. 또한, 포인트 클라우드 데이터는 기하 정보 및/또는 속성 정보를 포함할 수 있다. 기하 정보는 포인트의 위치 정보를 포함할 수 있다. 속성 정보는 포인트의 속성을 나타내는 정보를 포함할 수 있다. 일 예로서, 속성 정보는 포인트의 텍스쳐 정보, 색상(YCbCr 또는 RGB), 반사율, 투명도 등에 관한 정보를 포함할 수 있다.
좌표계 변환부(110)는 원본 포인트 클라우드의 정보를 입력받아 좌표계 변환을 수행할 수 있다. 원본 포인트 클라우드는 하나 이상의 카메라로부터 획득될 수 있다. 이 경우 각 카메라의 좌표계가 다를 수 있으므로, 각 카메라의 위치 좌표를 기준으로 포인트들의 좌표계 변환을 수행할 수 있다. 각 카메라로부터 확보한 포인트 클라우드 비디오의 포인트들에 대하여 좌표계 변환을 수행하여 하나의 포인트 클라우드 데이터를 생성할 수 있다. 이에 따라, 하나의 넓은 범위를 나타내는 포인트 클라우드 콘텐츠를 생성할 수도 있고, 포인트들의 밀도가 높은 포인트 클라우드 콘텐츠를 생성할 수도 있다.
일 예로서, 좌표계 변환은 세계 좌표계에서 프레임 좌표계로 변환하는 것을 의미할 수 있다. 또는, 직교 좌표계에서 원통 또는 구형 좌표계로의 변환을 의미할 수 있다. 또는, 원통 또는 구형 좌표계에서 직교 좌표계로의 변환을 의미할 수 있다. 좌표계 변환된 기하 정보는 기하 정보 부호화부(120)로 전달될 수 있다.
기하 정보 부호화부(120)는 기하 정보 및 복원된 포인트 클라우드를 입력받아 부호화하여 기하 정보 관련 심볼들을 생성할 수 있다. 생성된 기하 정보 관련 심볼들은 엔트로피 부호화부(180) 및 기하 정보 복호화부(140)로 전달될 수 있다. 기하 정보 부호화부(120)는 도 3에서 상세히 후술한다.
기하 정보 복호화부(140)는 기하 정보 관련 심볼들과 복원된 포인트 클라우드를 입력받아 복호화하여 포인트 클라우드의 기하 정보를 복원할 수 있다. 복원된 기하 정보는 속성 정보 보정부(150)로 전달될 수 있다. 또한, 복원된 포인트 클라우드 속성 정보와 함께 저장부(130)로 전달될 수 있다. 기하 정보 복호화부(140)는 도 4에서 상세히 후술한다.
속성 정보 보정부(150)는 복원된 기하 정보 및 원본 포인트 클라우드를 입력받아 속성 정보를 보정한 후, 보정된 속성 정보를 속성 정보 부호화부(160)로 전달할 수 있다. 여기서, 속성 정보 보정은 기하 정보의 부/복호화에 따른 오차를 고려하여 속성 정보를 보정하는 과정일 수 있다. 이때, 기하 정보 부/복호화 과정에서 새로운 포인트가 생성되거나 제거되는 경우가 발생할 수 있다. 이 경우, 원본 포인트 클라우드의 속성 정보를 기반으로 복원된 기하 정보에 따라서 새롭게 속성 정보를 부여하는 과정이 수행될 수 있다. 일 예로서, 현재 포인트와 원본 포인트 클라우드의 포인트들 사이 거리를 기반으로 근접한 포인트들의 속성 정보를 이용하여 계산된 값으로 속성 정보를 부여할 수 있다.
속정 정보 부호화부(160)는 입력 받은 복원된 기하 정보 및 보정된 속성 정보를 이용하여 포인트 클라우드의 속성 정보를 부호화하고, 속성 정보에 관련된 심볼들을 생성할 수 있다. 생성된 속성 정보 관련 심볼들은 엔트로피 부호화부(180)로 전달될 수 있다. 또한, 속성 정보 관련 심볼들은 속성 정보 복호화부(170)로 전달될 수 있다.
엔트로피 부호화부(180)는 전달받은 기하 정보 및 속성 정보 관련 심볼들을 엔트로피 부호화하여 비트스트림을 생성할 수 있다. 생성된 비트스트림은 포인트 클라우드 부호화기(100)로부터 출력될 수 있다.
속성 정보 복호화부(170)는 입력 받은 속성 정보 관련 심볼들을 복호화하여 포인트 클라우드 속성 정보를 복원할 수 있다. 복원된 속성 정보는 복원된 기하 정보와 함께 저장부(130)에 전달될 수 있다.
저장부(130)는 입력 받은 복원된 포인트 클라우드의 기하 정보 및 속성 정보를 저장할 수 있다. 저장된 포인트 클라우드는 기하 정보 부호화부(120) 및 기하 정보 복호화부(140)로 전달될 수 있다.
도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화기의 일 예를 나타내는 블록도이다.
도 2를 참조하면, 포인트 클라우드 복호화기(200)는 엔트로피 복호화부(210), 기하 정보 복호화부(220), 속성 정보 복호화부(230), 저장부(240), 좌표계 역변환부(250)를 포함할 수 있다. 도 2에 도시된 포인트 클라우드 복호화기(200)는 일 예로서, 본 개시가 이에 제한되는 것은 아니며, 포인트 클라우드 복호화기(200)는 도 2에 도시된 구성 외에 다른 구성이 추가되거나 도 1에 도시된 구성 중 일부 구성이 생략되어 구현될 수도 있다. 또한, 도 2의 포인트 클라우드 복호화기(200)는 도 1의 포인트 클라우드 부호화기(100)에 대응되는 실질적으로 동일한 동작을 수행할 수 있다. 관련하여 도 1과 중복되는 설명은 생략한다.
포인트 클라우드 복호화기는 비트스트림을 입력받아 복호화를 수행하여 포인트 클라우드를 복원할 수 있다.
엔트로피 복호화부(210)는 비트스트림을 입력 받아 복호화 하여 포인트 클라우드의 기하 정보 및 속성 정보 관련 심볼들을 복원할 수 있다. 복원된 기하 정보 관련 심볼은 기하 정보 복호화부(220)로 전달될 수 있다. 또한, 복원된 속성 정보 관련 심볼은 속성 정보 복호화부(230)로 전달될 수 있다.
기하 정보 복호화부(220)는 복원된 기하 정보 관련 심볼과 복원된 포인트 클라우드를 입력받아 복호화하여 포인트 클라우드의 기하 정보를 복원할 수 있다. 복원된 기하 정보는 속성 정보 복호화부 및 복원된 속성 정보와 함께 복원된 포인트 클라우드의 형태로 저장부(240)로 전달될 수 있다.
속성 정보 복호화부(230)는 복원된 속성 정보 관련 심볼과 복원된 기하 정보를 입력받아 복호화하여 속성 정보를 복원할 수 있다. 복원된 속성 정보는 복원된 기하 정보와 함께 복원된 포인트 클라우드의 형태로 저장부(240)에 저장될 수 있다.
저장부(240)는 전달받은 복원된 포인트 클라우드를 저장할 수 있다. 이후, 다음 포인트 복호화를 위하여 저장된 포인트 클라우드는 기하 정보 복호화부(220)로 전달될 수 있다. 또한, 출력을 위하여 복원된 포인트 클라우드는 좌표계 역변환부(250)로 전달될 수 있다.
좌표계 역변환부(250)는 입력받은 복원된 포인트 클라우드의 기하 정보에 대하여 좌표계 역변환을 수행하여 출력(또는 랜더링)할 수 있다. 여기서 좌표계 역변환은 포인트 클라우드 부호화기에서 수행한 좌표계 변환의 역과정일 수 있다. 이때, 포인트 클라우드 부호화기(100)로부터 전달받은 정보를 기반으로 좌표계 역변환이 수행될 수 있다.
도 3은 본 개시의 일 실시예에 따른 기하 정보 부호화부의 일 예를 나타내는 블록도이다.
도 3을 참조하면, 기하 정보 부호화부(300)는 포인트 분할부(310), 기하 정보 심볼 생성부(320), 프레임내 예측부(330), 프레임간 예측부(340)를 포함할 수 있다. 도 3에 도시된 기하 정보 부호화부(300)는 일 예로서, 본 개시가 이에 제한되는 것은 아니며, 기하 정보 부호화부(300)는 도 3에 도시된 구성 외에 다른 구성이 추가되거나 도 3에 도시된 구성 중 일부 구성이 생략되어 구현될 수도 있다. 도 3의 기하 정보 부호화부(300)는 앞서 설명한 도 1의 기하 정보 부호화부(120)의 일 예일 수 있다.
기하 정보 부호화부(300)는 원본 포인트 클라우드의 기하 정보 및 복원된 포인트 클라우드를 입력받아 부호화하여 기하 정보 심볼을 생성할 수 있다.
포인트 분할부(310)는 원본 포인트 클라우드의 기하 정보를 입력받아 포인트들을 분할할 수 있다. 이때, 포인트 분할은 3차원 부피를 바이너리트리, 쿼드트리 또는 옥트리를 기반으로 재귀적으로 분할하는 단계일 수 있다.
여기서, 분할된 트리 구조의 마지막 노드는 1x1x1 부피를 가지는 3차원 큐빅 공간일 수 있다. 본 개시에서, 이러한 분할된 트리 구조의 마지막 노드는 복셀로 지칭될 수 있다. 복셀은 3차원 공간 상의 위치 정보를 표현하는 최소한의 유닛을 의미할 수 있다. 본 개시의 실시예들에 따른 포인트 클라우드의 포인트들은 하나 또는 그 이상의 복셀에 포함될 수 있다. 3차원 공간의 포인트들의 그룹들은 복셀들로 매칭될 수 있다. 일 실시예로서, 바이너리트리, 쿼드트리 또는 옥트리 분할 구조는 각각 이진, 사진 또는 팔진 트리 구조에 기반하여 복셀에 매칭된 포인트들을 표현할 수 있다.
일 실시예로서, 바이너리트리, 쿼드트리 또는 옥트리 분할 구조에 따라 분할되는 경우, 각각의 트리 구조의 리프 노드가 복셀이 될때까지 분할이 수행될 수 있다. 이때, 재귀적이 분할을 수행하는 과정에서, 해당 노드 내에서 적어도 하나의 포인트를 포함하는지 여부가 고려될 수 있다. 즉, 적어도 하나의 포인트를 포함하지 않는 노드에 대해서는 추가적인 분할이 수행되지 않을 수 있다.
분할된 포인트 클라우드는 기하 정보 심볼 생성부(320)로 전달될 수 있다. 즉, 포인트 분할부(310)는 3차원 공간상의 좌표 값을 트리 구조로 변환해 표현하는 과정을 의미할 수 있다.
프레임내 예측부(330)는 복원된 포인트 클라우드를 입력받아 현재 포인트의 점유 정보에 대한 예측 통계값을 생성하여 기하 정보 심볼 생성부(320)로 전달할 수 있다. 여기서, 예측 통계값이란 현재 포인트가 현재 위치를 점유하고 있을지에 대한 확률 값일 수 있다. 또는, 트리 구조로 분할되는 과정에서 발생하는 분할 정보 중 분할 여부에 대한 플래그에 대한 확률 값일 수 있다. 본 개시의 예측 통계값은 점유 정보를 나타내는 기하 정보 심볼을 생성하기 위해 이용되는 값으로서, 그 명칭에 제한되지 않으며, 예측, 통계, 확률, 예측값, 통계값, 확률값, 점유 예측, 점유 통계, 점유 확률, 점유 예측값, 점유 통계값, 점유 확률값, 컨텍스트, 점유 컨텍스트 등으로 지칭될도 수 있다.
프레임간 예측부(340)는 입력받은 복원된 포인트 클라우드에 대하여 전역 움직임 보상 및/또는 지역 움직임 보상을 수행하고, 현재 포인트 주변 위치의 보상된 포인트들을 이용하여 예측 통계값을 생성하고, 이를 기하 정보 심볼 생성부(320)로 전달할 수 있다.
기하 정보 심볼 생성부(320)는 분할된 포인트 클라우드와 예측 통계값을 입력받아 현재 포인트에 대한 기하 정보 심볼을 생성할 수 있다. 생성된 기하 정보 심볼은 출력될 수 있다.
도 4는 본 개시의 일 실시예에 따른 기하 정보 복호화부의 일 예를 나타내는 블록도이다.
도 4를 참조하면, 기하 정보 복호화부(400)는 분할 구조 복원부(410), 프레임내 예측부(420), 프레임간 예측부(430)를 포함할 수 있다. 도 4에 도시된 기하 정보 복호화부(400)는 일 예로서, 본 개시가 이에 제한되는 것은 아니며, 기하 정보 복호화부(400)는 도 4에 도시된 구성 외에 다른 구성이 추가되거나 도 4에 도시된 구성 중 일부 구성이 생략되어 구현될 수도 있다. 도 4의 기하 정보 복호화부(400)는 앞서 설명한 도 1의 기하 정보 복호화부(140), 도 2의 기하 정보 복호화부(220)의 일 예일 수 있다.
또한, 도 4의 기하 정보 복호화부(400)는 도 3의 기하 정보 부호화부(300)에 대응되는 실질적으로 동일한 동작을 수행할 수 있다. 관련하여 도 3과 중복되는 설명은 생략한다.
기하 정보 복호화부(400)는 복원된 기하 정보 심볼 및 복원된 포인트 클라우드를 입력받아 복호화하여 포인트 클라우드의 기하 정보를 복원할 수 있다.
프레임내 예측부(420)는 복원된 포인트 클라우드를 입력받아 현재 포인트의 점유 정보에 대한 프레임내 예측 통계값을 생성하여 분할 구조 복원부(410)로 전달할 수 있다.
프레임간 예측부(430)는 입력받은 복원된 포인트 클라우드에 대하여 전역 움직임 보상 및 지역 움직임 보상을 수행하고, 현재 포인트 주변 위치의 보상된 포인트들을 이용하여 예측 통계값을 생성하고 이를 분할 구조 복원부(410)로 전달할 수 있다.
분할 구조 복원부(410)는 입벽받은 복원된 기하 정보 심볼과 예측 통계 값을 이용하여 트리 분할 구조를 복원할 수 있다. 일 예로서, 분할 구조 복원부(410)는 기하 정보 복원부, 기하 정보 생성부일 수 있다. 트리 구조에 따른 복원된 포인트의 기하 정보는 출력될 수 있다.
도 5는 본 개시의 일 실시예에 따른 3차원 공간상의 포인트를 2차원으로 표현한 일 예를 나타내는 도면이다.
도 5의 예시를 참조하면, 도 5에서 3개의 원(또는 점)은 각각 포인트를 나타낸다. 현재 프레임 내 현재 포인트와 부/복호화될 포인트가 포함될 수 있다. 본 개시에서, 부/복호화될 포인트는 부/복호화 순서에 따라 현재 포인트 이후에 부/복호화되는 포인트를 의미할 수 있다.
각 포인트는 현재 프레임 내에 특정 위치에 존재하고 있으며 포인트의 좌표 값은 실수로 표현된 값일 수 있다. 이때, 포인트 클라우드는 일반적인 이미지와 다르게 모든 위치에 존재하지 않기 때문에 부/복호화를 사용할 때 주변의 복원된 포인트에 대한 정보를 사용하는데 많은 제한이 존재할 수 있다.
또한, 일반적인 이미지/비디오의 경우에는 좌상단 또는 우하단과 같이 시작 위치가 정해지면 순차적으로 부/복호화가 수행될 수 있지만, 포인트 클라우드의 경우에는 모든 포인트에 대하여 순서를 정하기 어려우며, 원본 포인트 클라우드 데이터의 형태가 일반적인 텍스트의 형태로 포인트의 기하 정보 및 속성 정보가 나열식으로 되어 있기 때문에, 포인트의 순서가 공간상의 순서와 맞지 않는다는 문제가 있다. 이를 해결하기 위하여, 공간상의 위치별로 순서를 부여하려 해도 모든 공간에 가득 차 있지 않기 때문에 순서의 거리와 공간상의 거리의 불일치가 발생할 수 있다.
따라서, 이러한 문제점을 해결하기 위하여, 기하 정보 부/복호화 과정에서 포인트의 위치 정보를 보다 효율적으로 표현하기 위하여 포인트의 위치 정보는 트리 구조를 이용하여 1x1x1 크기를 갖는 부피인 복셀로 표현할 수 있다. 전술한 바와 같이, 복셀은 3차원 공간 상의 위치 정보를 표현하는 최소한의 유닛을 의미할 수 있다. 본 개시의 실시예들에 따른 포인트 클라우드의 포인트들은 하나 또는 그 이상의 복셀에 포함될 수 있다. 3차원 공간의 포인트들의 그룹들은 복셀들로 매칭될 수 있다. 이때, 복셀은 이미지/비디오의 픽셀과 유사한 개념이지만, 점유 여부에 대한 정보를 추가로 가지고 있을 수 있다.
도 6는 본 개시의 일 실시예에 따른 프레임내 예측부에서 수행하는 주변 포인트의 통계값 예측에 대한 일 예를 나타내는 도면이다.
도 6을 참조하면, 현재 프레임은 크기가 1x1x1 크기를 갖는 다수개의 복셀로 분할될 수 있다. 각 복셀은 포인트에 대한 점유 정보를 가질 수 있다. 이때, 모든 복셀에 대하여 점유 정보를 부호화하면 부호화 효율이 낮기 때문에 재귀적인 트리 분할 구조를 통해 효율적으로 점유 정보를 부호화할 수 있다.
본 개시의 일 실시예에서, 현재 포인트(610)의 주변 복셀의 점유 정보를 기반으로 현재 포인트(610)에 대한 예측 통계값을 계산(또는 유도)할 수 있다.
일 예로서, 현재 포인트(600)에 대한 예측 통계값은 통계 정보 추출 영역(610)에 포함된 포인트들에 기초하여 유도될 수 있다.
통계 정보 추출 영역(610)은 도 6에서 음영 처리된 영역으로서 예측 통계값를 얻기 위한 영역을 표현한 것일 수 있다. 또한, 도 6의 우측 그림에서 3차원 영역은 2차원으로 표현된 통계 정보 추출 영역(610)을 3차원 공간상에 표현한 것일 수 있다.
통계 정보 추출 영역(610)에 포함된 포인트의 점유 비율에 따라서 현재 포인트(600)의 심볼이 결정될 수 있다. 다시 말해, 통계 정보 추출 영역(610)에 포함된 포인트의 점유 비율에 따라 현재 포인트(600)에 대한 예측 통계값이 결정되고, 이에 기초하여 현재 포인트(600)에 대한 점유 정보를 나타내는 심볼이 생성될 수 있다.
도 7은 본 개시의 일 실시예에 따른 프레임간 예측부에서 수행되는 지역적 움직임 보상의 일 예를 나타내는 도면이다. 도 7은 표현의 편리성을 위하여 3차원 공간을 2차원으로 표현한 것일 수 있다.
도 7을 참조하면, 전술한 바와 같이, 프레임간 예측부는 먼저, 이전 프레임에 대하여 전역적 움직임 보상을 수행하고, 지역적 움직임 보상을 수행할 수 있다. 전역적 움직임 보상은 상위 레벨에서의 움직임 보상을 나타내고, 지역적 움직임 보상은 하위 레벨에서의 움직임 보상을 나타낼 수 있다. 예를 들어, 전역적 움직임 보상은 프레임 레벨에서 수행될 수 있고, 지역적 움직임 보상은 프레임 내 블록(또는 처리 유닛, 예측 유닛, 복셀으로 지칭될 수 있음) 레벨에서 수행될 수 있다.
이때, 지역적 움직임 보상을 위하여 현재 프레임 및 이전 프레임을 다수개의 블록으로 분할할 수 있다. 분할된 블록에 대하여 개별적으로 지역적 움직임 보상이 수행될 수 있다.
움직임 보상에 사용된 움직임 정보는 엔트로피 부호화부를 통해 복호화기로 전송될 수 있다. 복호화기에서는 해당 정보를 전달받아 부호화기와 동일하게 지역적 움직임 보상을 수행할 수 있다. 일 예로서, 움직임 정보는 도 7의 예시와 같이 움직임 벡터의 형태일 수 있다. 또는, 3차원 좌표계 변환을 위해 사용되는 매트릭스의 형태일 수 있다.
도 8은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 8을 참조하면, 지역적 움직임 보상된 포인트(빗금으로 표시된 포인트)들이 현재 포인트(800) 주변에 존재할 수 있다.
이때, 도 8의 통계 정보 추출 영역(810) 내 현재 포인트(800) 주변의 보상된 포인트의 점유 정보를 기반으로 예측 통계값을 얻을 수 있다.
실시예로서, 예측 통계값은 통계 정보 추출 영역(810)에 포함된 복원된 포인트의 수를 기반으로 계산될 수 있다. 예를 들어, 예측 통계값은 통계 정보 추출 영역(810)에 포함될 수 있는 포인트 수와 현재 포함된 포인트 수의 비율로 유도될 수 있다.
일 예로서, 도 8의 좌측 그림의 예시를 참조하면, 통계 정보 추출 영역(810) 내에서 포함 가능한 포인트의 수는 5이며, 현재 포함된 복원된 포인트의 수는 1로서, 이 경우 예측 통계값은 0.2로 유도될 수 있다.
또는, 일 예로서, 도 8의 우측 그림의 예시와 같이, 3차원으로 표현된 통계 정보 추출 영역(810)에 최대 11개의 포인트가 포함 가능하다면, 예측 통계값은 1/11로 유도될 수 있다. 다른 예로서, 현재 포인트(800)의 위치와 통계 정보 추출 영역(810) 내의 포함 가능한 포인트들의 위치 사이 거리를 가중치로 적용하여 예측 통계값을 계산할 수 있다. 이때, 거리는 맨해튼 거리, 유클리디안 거리, 해밍 거리 등 공지된 다양한 거리 계산 방법이 사용될 수 있다. 이후, 통계 정보 추출 영역(810)에 포함된 복원된 포인트들의 가중치 합을 모든 가중치 합으로 나누어 예측 통계값을 얻을 수 있다.
예측 통계값은 이후 엔트로피 부호화부 및 복호화부에서 엔트로피 부/복호화에 사용될 수 있다. 일 예로서, 엔트로피 부/복호화부에서는 예측 통계값을 현재 포인트(800)의 점유 여부를 표현하는 심볼에 대한 확률값으로서 사용될 수 있다.
도 9은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 9를 참조하면, 지역적 움직임 보상된 포인트(빗금으로 표시된 포인트)들이 현재 포인트 주변에 존재할 수 있다.
도 9의 통계 정보 추출 영역(910) 내 현재 포인트(900) 주변의 보상된 포인트의 점유 정보를 기반으로 예측 통계값을 얻을 수 있다. 이때, 움직임 보상된 포인트는 현재 포인트(900)의 부/복호화 순서와 관계없이 현재 포인트를 중심으로 모든 주변에 존재할 수 있기 때문에 도 9에 도시된 바와 같은 통계 정보 추출 영역(910)이 정의될 수 있다.
도 9의 좌측 그림의 2차원 영역을 기준으로 통계 정보 추출 영역(910)은 상, 하, 좌, 우의 주변 포인트를 포함할 수 있고, 도 9의 우측 그림의 3차원 영역을 기준으로 통계 정보 추출 영역(910)은 상, 하, 좌, 우, 전, 후의 주변 포인트를 포함할 수 있다.
도 9에 도시된 바와 같은 통계 정보 추출 영역(910)에 포함된 주변의 점유 정보를 통해 예측 통계값을 얻을 수 있다.
도 10은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 10을 참조하면, 지역적 움직임 보상된 포인트(빗금으로 표시된 포인트)들이 현재 포인트 주변에 존재할 수 있다.
도 10의 통계 정보 추출 영역(1010) 내 현재 포인트(1000) 주변의 보상된 포인트의 점유 정보를 기반으로 예측 통계값을 얻을 수 있다.
이때, 움직임 보상된 포인트는 현재 포인트의 부/복호화 순서와 관계없이 현재 포인트를 중심으로 모든 주변에 존재할 수 있기 때문에 도 10에 도시된 바와 같은 통계 정보 추출 영역(1010)이 정의될 수 있다.
도 10의 좌측 그림의 2차원 영역을 기준으로 통계 정보 추출 영역(1010)은 상, 하, 좌, 우, 좌상, 우상, 좌하, 우하의 주변 포인트를 포함할 수 있고, 도 10의 우측 그림의 3차원 영역을 기준으로 통계 정보 추출 영역(1010)은 정육면체 영역의 주변 포인트를 포함할 수 있다.
도 10에 도시된 바와 같은 통계 정보 추출 영역(1010)에 포함된 영역의 점유 정보를 통해 예측 통계값을 얻을 수 있다.
도 11은 본 개시의 일 실시예에 따른 프레임간 예측을 위해 삼각형을 생성하는 방법의 일 예를 나타내는 도면이다.
도 11을 참조하면, 지역적 움직임 보상된 포인트(빗금으로 표시된 포인트)는 도 11의 좌측 그림과 같이 존재할 수 있다. 이때, 움직임 보상된 포인트는 현재 포인트와 정확히 겹쳐서 존재하지 않을 수 있으며, 현재 포인트 주변에 모두 존재하지 않을 수 있다. 이로 인해 포인트 점유 정보에 대한 부호화 효율이 감소할 수 있다.
이를 해결하기 위하여, 본 개시의 일 실시예에 따르면, 도 11의 우측 그림과 같이 현재 블록 내부의 움직임 보상된 포인트들을 기반으로 삼각형을 생성하고, 해당 삼각형과 겹쳐지는(중첩되는) 복셀들은 포인트를 점유하고 있는 것으로 간주하여 지역적 움직임 보상된 포인트들을 삼각형의 면으로 근사시킬 수 있다.
이때, 현재 블록의 모서리에 근접한 포인트들을 기반으로 삼각형의 정점을 생성하고, 생성된 삼각형의 정점을 연결하여 삼각형이 생성될 수 있다. 생성된 삼각형의 정점의 개수에 따라서 삼각형의 개수가 결정될 수 있다.
일 실시예로서, 다수개의 삼각형이 생성되는 경우에는 3차원 공간상의 정점들의 위치를 기반으로 정점에 대한 순서가 결정될 수 있다. 예를 들어, 정점 순서는 정점들을 x-y, y-z, z-x 평면으로 사영시키고, 정점들로부터 생성되는 사각형 면의 면적을 기반으로 하나의 평면을 결정하고, 해당 평면에 사영된 정점들을 시계 방향을 기준으로 순서를 결정할 수 있다. 또는, 반시계 방향을 기준으로 순서를 결정할 수 있다. 이후, 결정된 순서에 따라서 정점을 연결하여 다수개의 삼각형이 생성될 수 있다.
도 12는 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 12를 참조하면, 빗금으로 표시된 포인트들은 앞서 도 11에서 설명한 삼각형 근사화를 통해 생성된 포인트 들일 수 있다.
이때, 도 12의 통계 정보 추출 영역(1210) 내 현재 포인트(1200) 주변의 보상된 포인트의 점유 정보를 기반으로 예측 통계값을 얻을 수 있다.
여기서, 삼각형 근사 포인트는 현재 포인트(1200)의 부/복호화 순서와 관계없이 현재 포인트를 중심으로 모든 주변에 존재할 수 있다. 따라서, 도 12의 우측 그림의 3차원 통계 정보 추출 영역(1210)과 같이 현재 포인트(1200)의 주변(위, 아래, 앞, 뒤, 왼쪽, 오른쪽)의 점유 정보를 통해 예측 통계값을 얻을 수 있다.
도 13은 본 개시의 일 실시예에 따른 프레임간 예측부에서 움직임 보상된 포인트들을 이용하여 예측 통계값을 생성하는 방법의 일 예를 나타내는 도면이다.
도 13 를 참조하면, 빗금으로 표시된 포인트들은 앞서 도 11에서 설명한 삼각형 근사화를 통해 생성된 포인트 들일 수 있다.
도 13의 통계 정보 추출 영역(1310) 내 현재 포인트(1300) 주변의 보상된 포인트의 점유 정보를 기반으로 예측 통계값을 얻을 수 있다.
여기서, 삼각형 근사 포인트는 현재 포인트(1300)의 부/복호화 순서와 관계없이 현재 포인트를 중심으로 모든 주변에 존재할 수 있다. 따라서, 도 13의 우측 그림의 3차원 통계 정보 추출 영역(1310)과현재 포인트(1300)를 중심으로 하는 정육면체 영역의 점유 정보를 기반으로 예측 통계치를 얻을 수 있다.
도 14는 본 개시의 일 실시예에 따른 포인트 클라우드 압축 방법을 예시하는 흐름도이다.
도 14를 참조하면, 포인트 클라우드 압축 장치는 현재 프레임의 이전 프레임에 기초하여 전역적 움직임 보상을 수행할 수 있다(S1400).
포인트 클라우드 압축 장치는 상기 현재 프레임을 복수의 예측 유닛으로 분할할 수 있다(S1410).
포인트 클라우드 압축 장치는 현재 예측 유닛에 대한 지역적 움직임 보상을 수행함으로써 상기 현재 예측 유닛 내 움직임 보상된 포인트를 결정할 수 있다(S1420).
포인트 클라우드 압축 장치는 상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛 내 현재 포인트의 기하 정보를 결정할 수 있다(S1430).
전술한 바와 같이, 포인트 클라우드 압축 장치는 상기 현재 포인트 주변의 미리 정의된 특정 영역에 포함된 움직임 보상된 포인트에 기초하여 예측 통계값을 유도하고, 상기 예측 통계값에 기초하여 상기 현재 포인트의 기하 정보를 결정할 수 있다.
또한, 전술한 바와 같이, 상기 현재 포인트의 기하 정보는 상기 현재 포인트의 점유 여부를 지시하는 심볼을 포함할 수 있다. 상기 현재 포인트의 점유 여부를 지시하는 심볼은 상기 예측 통계값을 확률로 이용하여 엔트로피 부호화될 수 있다.
또한, 앞서 도 9 및 12에서 전술한 바와 같이, 상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트의 전면, 후면, 좌측, 우측, 상측 및 하측에 인접한 복셀들을 포함하는 영역으로 정의될 수 있다.
또한, 앞서 도 10 및 13에서 전술한 바와 같이, 상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트를 중심으로 상기 현재 포인트에 인접한 인접한 복셀들을 포함하는 정육면체 영역으로 정의될 수 있다.
또한, 앞서 도 11 내지 13에서 전술한 바와 같이, 상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛을 적어도 하나의 삼각형으로 분할하고, 상기 움직임 보상된 포인트에 기초하여 상기 분할된 삼각형의 평면에 포함된 포인트를 결정할 수 있다. 상기 움직임 보상된 포인트 또는 상기 분할된 삼각형의 평면에 포함된 포인트 중 적어도 하나에 기초하여 상기 현재 포인트의 기하 정보를 결정할 수 있다. 상기 현재 예측 유닛의 모서리들에 인접한 복수의 움직임 보상된 포인트들에 기초하여 복수의 꼭지점 획득하고, 상기 복수의 꼭지점을 연결하여 상기 현재 예측 유닛을 상기 적어도 하나의 삼각형으로 분할할 수 있다.
또한, 전술한 바와 같이, 상기 현재 예측 유닛은 미리 정의된 트리 구조에 기초하여 1x1x1 크기를 가지는 영역으로 분할되고, 상기 현재 포인트는 상기 1x1x1 크기를 가지는 영역의 중앙 위치에 대응될 수 있다. 이때, 상기 미리 정의된 트리 구조는 바이너리 트리, 쿼드 트리 또는 옥트 트리 중 적어도 하나를 포함할 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는, 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는, 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는, 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는, 다른 실시예의 대응하는 구성 또는, 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는, 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는, 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는, 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는, 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (11)

  1. 현재 프레임의 이전 프레임에 기초하여 전역적 움직임 보상을 수행하는 단계;
    상기 현재 프레임을 복수의 예측 유닛으로 분할하는 단계;
    현재 예측 유닛에 대한 지역적 움직임 보상을 수행함으로써 상기 현재 예측 유닛 내 움직임 보상된 포인트를 결정하는 단계; 및
    상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛 내 현재 포인트의 기하 정보를 결정하는 단계를 포함하는, 포인트 클라우드 압축 방법.
  2. 제1항에 있어서,
    상기 현재 포인트의 기하 정보를 결정하는 단계는,
    상기 현재 포인트 주변의 미리 정의된 특정 영역에 포함된 움직임 보상된 포인트에 기초하여 예측 통계값을 유도하는 단계; 및
    상기 예측 통계값에 기초하여 상기 현재 포인트의 기하 정보를 결정하는 단계를 포함하는, 포인트 클라우드 압축 방법.
  3. 제2항에 있어서,
    상기 현재 포인트의 기하 정보는 상기 현재 포인트의 점유 여부를 지시하는 심볼을 포함하고,
    상기 현재 포인트의 점유 여부를 지시하는 심볼은 상기 예측 통계값을 확률로 이용하여 엔트로피 부호화되는, 포인트 클라우드 압축 방법.
  4. 제2항에 있어서,
    상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트의 전면, 후면, 좌측, 우측, 상측 및 하측에 인접한 복셀들을 포함하는 영역으로 정의되는, 포인트 클라우드 압축 방법.
  5. 제2항에 있어서,
    상기 현재 포인트 주변의 특정 영역은 상기 현재 포인트를 중심으로 상기 현재 포인트에 인접한 인접한 복셀들을 포함하는 정육면체 영역으로 정의되는, 포인트 클라우드 압축 방법.
  6. 제1항에 있어서,
    상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛을 적어도 하나의 삼각형으로 분할하는 단계; 및
    상기 움직임 보상된 포인트에 기초하여 상기 분할된 삼각형의 평면에 포함된 포인트를 결정하는 단계를 더 포함하는, 포인트 클라우드 압축 방법.
  7. 제6항에 있어서,
    상기 현재 포인트의 기하 정보를 결정하는 단계는,
    상기 움직임 보상된 포인트 또는 상기 분할된 삼각형의 평면에 포함된 포인트 중 적어도 하나에 기초하여 상기 현재 포인트의 기하 정보를 결정하는 단계를 포함하는, 포인트 클라우드 압축 방법.
  8. 제6항에 있어서,
    상기 적어도 하나의 삼각형으로 분할하는 단계는,
    상기 현재 예측 유닛의 모서리들에 인접한 복수의 움직임 보상된 포인트들에 기초하여 복수의 꼭지점 획득하는 단계; 및
    상기 복수의 꼭지점을 연결하여 상기 현재 예측 유닛을 상기 적어도 하나의 삼각형으로 분할하는 단계를 포함하는, 포인트 클라우드 압축 방법.
  9. 제1항에 있어서,
    상기 현재 예측 유닛은 미리 정의된 트리 구조에 기초하여 1x1x1 크기를 가지는 영역으로 분할되고,
    상기 현재 포인트는 상기 1x1x1 크기를 가지는 영역의 중앙 위치에 대응되는, 포인트 클라우드 압축 방법.
  10. 제9항에 있어서,
    상기 미리 정의된 트리 구조는 바이너리 트리, 쿼드 트리 또는 옥트 트리 중 적어도 하나를 포함하는, 포인트 클라우드 압축 방법.
  11. 포인트 클라우드 압축을 위한 장치에 있어서,
    상기 장치를 제어하는 프로세서; 및
    상기 프로세서와 결합되고, 데이터를 저장하는 메모리를 포함하되,
    상기 프로세서는,
    현재 프레임의 이전 프레임에 기초하여 전역적 움직임 보상을 수행하고,
    상기 현재 프레임을 복수의 예측 유닛으로 분할하고,
    현재 예측 유닛에 대한 지역적 움직임 보상을 수행함으로써 상기 현재 예측 유닛 내 움직임 보상된 포인트를 결정하고,
    상기 움직임 보상된 포인트에 기초하여 상기 현재 예측 유닛 내 현재 포인트의 기하 정보를 결정하는, 포인트 클라우드 압축 장치.
PCT/KR2023/005910 2022-04-28 2023-04-28 포인트 클라우드 압축 방법 및 장치 WO2023211255A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220053034 2022-04-28
KR10-2022-0053034 2022-04-28

Publications (1)

Publication Number Publication Date
WO2023211255A1 true WO2023211255A1 (ko) 2023-11-02

Family

ID=88519323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005910 WO2023211255A1 (ko) 2022-04-28 2023-04-28 포인트 클라우드 압축 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20230153312A (ko)
WO (1) WO2023211255A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068040A (ko) * 2018-01-18 2021-06-08 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스
KR20210074385A (ko) * 2019-09-03 2021-06-21 텐센트 아메리카 엘엘씨 일반화된 트라이수프 기하 코딩을 위한 기법 및 장치
WO2022076701A1 (en) * 2020-10-07 2022-04-14 Qualcomm Incorporated Motion estimation in geometry point cloud compression
KR20220048417A (ko) * 2020-10-12 2022-04-19 한국전자통신연구원 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치
US20220124374A1 (en) * 2019-07-03 2022-04-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud encoding and decoding method, encoder, and decoder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068040A (ko) * 2018-01-18 2021-06-08 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스
US20220124374A1 (en) * 2019-07-03 2022-04-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud encoding and decoding method, encoder, and decoder
KR20210074385A (ko) * 2019-09-03 2021-06-21 텐센트 아메리카 엘엘씨 일반화된 트라이수프 기하 코딩을 위한 기법 및 장치
WO2022076701A1 (en) * 2020-10-07 2022-04-14 Qualcomm Incorporated Motion estimation in geometry point cloud compression
KR20220048417A (ko) * 2020-10-12 2022-04-19 한국전자통신연구원 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치

Also Published As

Publication number Publication date
KR20230153312A (ko) 2023-11-06

Similar Documents

Publication Publication Date Title
US10249019B2 (en) Method and apparatus for mapping omnidirectional image to a layout output format
KR20210010551A (ko) 포인트 클라우드 맵핑
CN109076232B (zh) 视频编码或解码方法与装置
US10848771B2 (en) Encoding and decoding a video signal
WO2020235979A1 (ko) 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치
US20200236401A1 (en) Point cloud coding using homography transform
CN114041169A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备、以及点云数据接收方法
US20230107834A1 (en) Method and apparatus of adaptive sampling for mesh compression by encoders
WO2023211255A1 (ko) 포인트 클라우드 압축 방법 및 장치
WO2019216707A1 (en) Method and apparatus for processing three dimensional object image using point cloud data
WO2023182675A1 (ko) 옥트리 기반 삼각형 코딩을 이용하는 메시 압축을 위한 방법 및 장치
US20230245390A1 (en) Manhattan layout estimation using geometric and semantic information
US20230162404A1 (en) Decoding of patch temporal alignment for mesh compression
US20230196663A1 (en) Checking overlapping-free property for patches in mesh compression
CN111246208A (zh) 视频处理方法、装置及电子设备
KR20230149093A (ko) 영상 처리 방법, 영상 처리를 위한 트레이닝 방법, 및 영상 처리 장치
CN112954452A (zh) 视频生成方法、装置、终端及存储介质
WO2023158267A1 (ko) 특징맵 압축 방법 및 장치
WO2021261950A1 (ko) 뉴럴 네트워크의 압축 및 학습을 위한 방법 및 장치
US11843802B2 (en) Methods of intra picture block prediction for multi-view video compression
WO2024058614A1 (ko) 다이나믹 메시 압축 방법 및 장치
CN114286163B (zh) 一种序列图的录制方法、装置、设备及存储介质
WO2023211253A1 (ko) 신경망 기반 움직임 벡터 필드 압축을 이용한 비디오 압축 방법
WO2023177272A1 (ko) 신경망 기반 특징 텐서 압축 방법 및 장치
US11922664B2 (en) Method and apparatus of adaptive sampling for mesh compression by decoders

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23796894

Country of ref document: EP

Kind code of ref document: A1