WO2020013661A1 - 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 - Google Patents

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2020013661A1
WO2020013661A1 PCT/KR2019/008650 KR2019008650W WO2020013661A1 WO 2020013661 A1 WO2020013661 A1 WO 2020013661A1 KR 2019008650 W KR2019008650 W KR 2019008650W WO 2020013661 A1 WO2020013661 A1 WO 2020013661A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
partition
image
encoded
encoding
Prior art date
Application number
PCT/KR2019/008650
Other languages
English (en)
French (fr)
Inventor
장은영
차지훈
최수길
장의선
최려
이소명
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US17/259,861 priority Critical patent/US20210304354A1/en
Publication of WO2020013661A1 publication Critical patent/WO2020013661A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to a method and apparatus for encoding / decoding a scalable point cloud. More specifically, the present invention relates to a partition-based scalable point cloud encoding / decoding method and apparatus.
  • the region of spatial scalability (RSS) is not supported in the conventional encoding / decoding method for the input point cloud.
  • the conventional encoding / decoding method may mean anchor software (TMC2) for Category 2 dataset of MPEG PCC.
  • TMC2 anchor software
  • the conventional encoding / decoding method sets five bit rate criteria to support various performances, the lower the bit rate, the worse the image quality of the decoded image.
  • devices with limited storage space or transmission speed may prefer higher compression rates, that is, lower bit rate criteria.
  • UX user experience
  • the conventional encoding / decoding method does not support the parallel encoding / decoding function.
  • the conventional encoding / decoding method may include a patching process and / or an HM encoding process, wherein execution times for the two processes in the encoding process are similar.
  • fast encoding chips based on HM have been developed, but no fast encoding chips for the patching process have been developed. Therefore, it may be very important to design an encoder / decoder structure capable of parallel processing.
  • An object of the present invention is to provide a partition-based scalable point cloud encoding / decoding method and apparatus.
  • Another object of the present invention is to provide an encoding / decoding method and apparatus for supporting RSS for a point cloud.
  • a method including obtaining an encoded texture image, an encoded geometric image, encoded occupancy map information, and encoded auxiliary patch-info information from a bitstream; Obtaining a decoded texture image for each partition using the encoded texture image; Restoring a geometric image by using at least one of the encoded geometric image, the encoded occupancy map information, and the encoded auxiliary patch-info information; And restoring a point cloud using the texture image and the geometry image for each partition.
  • the partition may include at least one of a slice, a tile, a tile group, and a brick.
  • the reconstructing the geometric image may include obtaining a decoded geometric image for each partition by using the encoded geometric image.
  • the reconstructing the geometric image may include generating decoded occupancy map information for each partition using the encoded occupancy map information.
  • the reconstructing the geometric image may include generating decoded auxiliary patch-info information for each partition by using the encoded auxiliary patch-info information.
  • the reconstructing the geometric image according to an embodiment may further include smoothing the geometric image.
  • the method may further include decoding information on whether the partition is applied to the point cloud from the bitstream.
  • the method may further include decoding at least one of 3D bounding box information and 2D bounding box information based on information on whether the partition is applied according to an embodiment.
  • At least one of information on whether the partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the header information.
  • the method may further include decoding mapping information indicating a mapping relationship between the texture image, the geometric image, the occupancy map information, and the auxiliary patch-info information.
  • At least one of information about whether the partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the SEI message information.
  • the method comprises: dividing a point cloud into at least one partition; Encoding the divided at least one partition using information about the partition; And encoding information about the partition may be provided.
  • the partition may include at least one of a slice, a tile, a tile group, and a brick.
  • the encoding of the at least one partitioned partition may include generating a geometric image padded with geometric image information for each partition.
  • the encoding of the divided at least one partition may include generating a texture image in which texture image information is padded for each partition.
  • the encoding of the divided at least one partition may include encoding occupancy map information for each partition.
  • the encoding of the divided at least one partition may include encoding auxiliary patch-info information for each partition.
  • the information about the partition may include information about whether the partition is applied to the point cloud.
  • the information about the partition according to an embodiment may further include at least one of 3D bounding box information and 2D bounding box information.
  • At least one of information on whether the partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the header information.
  • At least one of information about whether the partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the SEI message information.
  • the image data is encoded texture image, encoding.
  • a geometric image, encoded occupancy map information, and encoded auxiliary patch-info information wherein the encoded texture image is used to obtain a decoded texture image for each partition, and includes the encoded geometric image and the encoded image.
  • At least one of the occupancy map information and the encoded auxiliary patch-info information may be used to reconstruct a geometric image, and the texture image and the geometric image for each partition may be used to reconstruct a point cloud.
  • a partition-based scalable point cloud encoding / decoding method and apparatus can be provided.
  • an encoding / decoding method and apparatus supporting RSS for a point cloud may be provided.
  • an encoding / decoding method and apparatus capable of performing parallel processing on a point cloud may be provided.
  • FIG. 1 is a block diagram illustrating an operation of an encoder according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an operation of a decoder according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a partition of a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention.
  • 4 through 8 illustrate syntax element information and semantics of syntax element information necessary for implementing a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention in an encoder / decoder. ) Is a diagram for explaining an encoding / decoding process.
  • 9 to 11 are diagrams for explaining comparison results between operations of a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention, and operations of a conventional encoding / decoding method and apparatus.
  • FIG. 12 is a block diagram illustrating an operation of an encoder according to another embodiment of the present invention.
  • FIG. 13 is a diagram for describing information encoded according to an embodiment of the present invention.
  • FIG. 14 is a diagram for describing an operation of a decoder according to another embodiment of the present invention.
  • 15 and 16 illustrate a comparison result between operations of a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention, and operations of a conventional encoding / decoding method and apparatus.
  • FIG. 17 illustrates a partition of a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention.
  • 18 through 20 are syntax element information and semantics of syntax element information required for implementing a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention in an encoder / decoder. ) Is a diagram for explaining an encoding / decoding process.
  • 21 is syntax element information necessary for implementing a scalable point cloud encoding / decoding method and apparatus in an encoder / decoder according to another embodiment of the present invention, semantics of information of syntax elements, It is a figure for explaining an encoding / decoding process.
  • FIG. 22 is a flowchart of a scalable point cloud decoding method according to an embodiment of the present invention.
  • FIG. 23 is a flowchart of a scalable point cloud encoding method according to an embodiment of the present invention.
  • a component when a component is “connected”, “coupled” or “connected” with another component, it is not only a direct connection, but also an indirect connection in which another component exists in between. It may also include.
  • a component when a component “includes” or “having” another component, it means that it may further include another component, without excluding the other component unless otherwise stated. .
  • first and second are used only for the purpose of distinguishing one component from other components, and do not limit the order or the importance between the components unless otherwise specified. Accordingly, within the scope of the present invention, a first component in one embodiment may be referred to as a second component in another embodiment, and likewise, a second component in one embodiment may be referred to as a first component in another embodiment. It may also be called.
  • the components distinguished from each other to clearly describe each feature does not necessarily mean that the components are separated. That is, a plurality of components may be integrated into one hardware or software unit, or one component may be distributed and formed into a plurality of hardware or software units. Therefore, even if not mentioned otherwise, such integrated or distributed embodiments are included in the scope of the present invention.
  • components described in various embodiments of the present disclosure are not necessarily required components, and some of them may be optional components. Therefore, an embodiment consisting of a subset of the components described in one embodiment is also included in the scope of the present invention. In addition, embodiments including other components in addition to the components described in the various embodiments are included in the scope of the present invention.
  • encoding / decoding may be performed by continuously processing a patching process and an HM encoding process.
  • a region of spatial scalability (RSS) can be supported. That is, the compression quality of each region may be different.
  • a scalable point cloud encoding / decoding method capable of parallel encoding / decoding may be provided.
  • the encoding / decoding method and apparatus of the present disclosure may support the RSS function, which is a PCC requirement, by using a partition concept.
  • the encoding / decoding method and apparatus of the present disclosure may perform encoding / decoding in parallel by using a partition concept.
  • the interest of one area may be higher than the interest of another area.
  • the input point cloud information may be divided into partition units for each part of the three-dimensional space.
  • bit rate steps to be encoded for the partition may be specified.
  • the partition may be at least one of a slice, a tile, a tile group, and a brick.
  • Information about one Region of Interest (ROI) layer is formed for each of the divided slices or tiles, and may be independently encoded.
  • ROI Region of Interest
  • FIG. 1 is a block diagram illustrating an operation of an encoder according to an embodiment of the present invention.
  • the partition unit is not limited thereto and may include a predetermined unit capable of distinguishing the point cloud information such as a tile, a tile group, and a brick.
  • the encoder may generate a plurality of slice 3 layers by dividing the input point cloud 1 into one or more slices (layers) using the slice generation process 2.
  • the encoder can also encode the plurality of slices 3 independently using an encoding process (eg, patch generation, image padding and / or video compression) 4.
  • the encoder can combine the sub-bitstream 5 for each slice into one compressed bitstream 7 using the multiplexer 6.
  • FIG. 2 is a block diagram illustrating an operation of a decoder according to an embodiment of the present invention.
  • the slice unit is used as a partition unit for dividing the input point cloud information in FIG. 2, the partition unit is not limited thereto and may include a predetermined unit for dividing the point cloud information such as a tile, a tile group, and a brick.
  • the decoder may demultiplex the input compressed bitstream 8 into a plurality of sub-bitstreams 10 at the slice level using the demultiplexer 9.
  • the decoder may independently decode the plurality of sub-bitstreams 10 using a decoding process (eg, a patching and / or HM decoding process) 11.
  • the decoder may combine the decoded slice-specific data 12 into one point cloud 14 using the slice combining process 13.
  • FIG. 3 is a diagram illustrating a partition of a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention.
  • an input point cloud representing one person may be divided into two partitions, a head part (partition 1) and a body part (partition 2).
  • the two partitions may be independently encoded / decoded.
  • each partition that is independently decrypted may be combined into one point cloud and output.
  • the partition may mean a slice, a tile, a tile group, a brick, or the like.
  • 4 through 8 illustrate syntax element information and semantics of syntax element information necessary for implementing a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention in an encoder / decoder. ) Is a diagram for explaining an encoding / decoding process.
  • 9 to 11 are diagrams for explaining comparison results between operations of a scalable point cloud encoding / decoding method and apparatus according to an embodiment of the present invention, and operations of a conventional encoding / decoding method and apparatus.
  • FIG. 9 is a diagram for describing an experiment execution environment
  • FIGS. 10 and 11 are diagrams for explaining a result of performance comparison.
  • the conventional encoding / decoding method and apparatus may mean V-PCC.
  • the encoding / decoding method of the present disclosure may be based on the V-PCC to add the above-described configuration in Figures 1 to 8.
  • one sequence of Cat 2 (ie, Longdress_vox10_ 1051 to 1114. ply) was used as a test data set.
  • the head region is the ROI. Therefore, the head slice was encoded with r5 (ie, a high bit rate condition) of Lossy_Geo & Color_AI encoding condition, and the trunk slice was encoded with r1, r2, r3, r4 (ie, low bit rate condition), respectively.
  • V-PCC is a result of performing a conventional encoding / decoding method
  • a Slice-based method is a result of performing an encoding / decoding method of the present disclosure.
  • the PSNR result in the case of using the encoding / decoding method of the present disclosure is almost similar to the PSNR result in the case of using the conventional encoding / decoding method, and it can be seen that there is almost no increase in the bit rate.
  • the image quality of the head region reconstructed by using the encoding / decoding method of the present disclosure as in the example of FIG. 11B is obtained by using the conventional encoding / decoding method as in the example of FIG. It can be seen that it is clearer and better than the image quality of the restored head region.
  • FIG. 12 is a block diagram illustrating an operation of an encoder according to another embodiment of the present invention.
  • FIG. 13 is a diagram for describing information encoded according to an embodiment of the present invention.
  • a partition may mean a tile.
  • the encoder may generate a plurality of partitions by dividing the input point cloud 1 into at least one partition by using the logical partition 2.
  • the encoder can generate patch information corresponding to each partition by using Patch Generation (3).
  • the patch generation (3) may mean a predetermined process in the encoding process of the V-PCC.
  • the generated patch information may be delivered to the geometry image generation (4), texture image generation (5), Occupancy map compression (6) and / or Auxiliary patch-info compression (7).
  • the encoder may generate the geometric image 8 in which the geometric image information of each partition is padded by using the geometry image generation 4.
  • the geometry frame is an example of the geometry image 8 in which the geometry image information is padded.
  • the encoder may generate the texture image 9 in which the texture image information of each partition is padded using the texture image generation 5.
  • the texture frame is an example of the texture image 9 in which the texture image information is padded.
  • the encoder can generate the compressed geometric video 13 and the compressed texture video 14 by compressing the geometric image 8 and the texture image 9 using a conventional Video Compression 12.
  • the encoder can generate a compressed occupancy map 10 for each partition using occancy map compression 6.
  • the Occupancy Map information for each partition may be generated in the form of an image as in the example of Occupancy Map 1/2 of FIG.
  • information about each partition may be separately transmitted as shown in FIG. 12.
  • the encoder may generate the compressed Auxiliary patch-info 11 for each partition by using the Auxiliary path-info compression 7.
  • the coder combines the generated compressed geometric video 13, compressed texture video 14, compressed occupancy map 10 and / or compressed Auxiliary patch-info 11 using multiplexer 15. Can be combined into a compressed bitstream 16 of.
  • FIG. 14 is a diagram for describing an operation of a decoder according to another embodiment of the present invention.
  • a partition may mean a tile.
  • the decoder extracts an input compressed bitstream 17 using a demultiplexer 18, a compressed texture video 19, a compressed geometric video 20, a compressed occupancy map 21, and / Or demultiplex with compressed Auxiliary patch-info (22).
  • the decoder may generate the decoded texture video 24 and the decoded geometric video 25 by decoding the compressed texture video 19 and the compressed geometric video 20 using the video decompression 23.
  • the texture frame may be an example of the decoded texture video 24.
  • the geometry frame may be an example of the decoded geometric video 25.
  • the decoder may generate the decoded texture video 24 using the decompressed texture video separation 26 to generate the texture image 30 for each partition.
  • the decoder has a texture image for partition 1 (head) occupying the upper part of the texture frame and a texture image for partition 2 (body part) occupying the lower part of the texture frame. Can be separated.
  • the decoder may generate the decoded geometric video 25 by using the decompressed geometry video separation 27 to generate the geometric image 31 for each partition.
  • the decoder has a geometric image of partition 1 (head) occupying the upper part of the geometry frame and a geometry image of partition 2 (body part) occupying the lower part of the geometry frame. Can be separated.
  • the decoder can generate the decompressed occupancy map 32 for each partition using the occupancy map 21 by the occupancy map decompression 28.
  • the decoder may generate the decoded Auxiliary patch-info 33 for each partition using the compressed Auxiliary patch-info 22 and the Auxiliary patch-info decompression 29.
  • the decoder reconstructs the decoded geometric image 31 of each partition, the decoded occupancy map 32 of each partition, and / or the decoded Auxiliary patch-info 33 of each partition by using geometry reconstruction 34. Geometry information can be generated. In addition, the decoder may generate the smoothed geometric information by smoothing the generated restored geometric information.
  • the decoder may restore the point cloud information of each partition by using the texture reconstruction 36 of the texture image 30 and the smoothed geometric information of each partition.
  • the decoder may combine the restored point cloud information for each partition into one point cloud 38 using a combination 37.
  • 15 and 16 illustrate a comparison result between operations of a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention, and operations of a conventional encoding / decoding method and apparatus.
  • FIG. 15 is a diagram for describing an experiment execution environment
  • FIG. 16 is a diagram for explaining a performance comparison result.
  • the conventional encoding / decoding method and apparatus may mean V-PCC.
  • the encoding / decoding method of the present disclosure may be based on the V-PCC to add the above-described configuration in FIG. 12 to FIG.
  • the encoding / decoding method of the present disclosure designates the same bit rate step without specifying different bit rate steps for each partition. Even in this case, the partition-based structure of the present disclosure can improve encoding / decoding performance by performing encoding / decoding in parallel.
  • FIG. 17 illustrates a partition of a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention.
  • an input point cloud representing one person may be divided into three partitions.
  • the three partitions may be divided using a 3D bounding box.
  • the three partitions may be separately encoded / decoded by being separated by a 2D bounding box.
  • each partition that is independently decrypted may be combined into one point cloud and output.
  • the partition may mean a tile, but is not limited thereto and may mean a slice, a tile group, a brick, and the like.
  • Predetermined syntax element information may be added to a conventional MPEG V-PCC encoding / decoding process in order to implement an operation of the scalable point cloud encoding / decoding method and apparatus of the present invention in an encoder / decoder.
  • information indicating whether the point cloud information is divided into a plurality of partitions by applying a partition and encoded or not is applied may be added.
  • the information may be signaled in the header information.
  • 2D bounding box information for each partition may be added to 3D bounding box information for each partition and / or video data after a patching process.
  • the information may be recovered using the already encoded information, but may be signaled in the header information because the computational complexity may increase.
  • mapping information indicating a mapping relationship between texture / geometry video, occupancy map information, and auxiliary patch-info information may be added.
  • the mapping information may be signaled in the header information.
  • 18 through 20 are syntax element information and semantics of syntax element information required for implementing a scalable point cloud encoding / decoding method and apparatus according to another embodiment of the present invention in an encoder / decoder. ) Is a diagram for explaining an encoding / decoding process.
  • FIG. 18 is an example in which the predetermined syntax element information is added in the V-PCC unit payload syntax and the tile parameter set syntax of the conventional MPEG V-PCC encoding / decoding process.
  • FIG. 19 illustrates an example of a change of vpcc_unit_type in vpcc_unit_payload () of a conventional MPEG V-PCC encoding / decoding process when the partition-based encoding / decoding method of the present disclosure is applied.
  • vpcc_unit_type value is '1', it may be used as an identifier of VPCC_TPS.
  • 20 is an example illustrating the meaning of syntax element information added in FIG. 18.
  • 21 is syntax element information necessary for implementing a scalable point cloud encoding / decoding method and apparatus in an encoder / decoder according to another embodiment of the present invention, semantics of information of syntax elements, It is a figure for explaining an encoding / decoding process.
  • the tile parameter set SEI message may include parameter information defining a 2D bounding box and / or a 3D bounding box of each partition.
  • an identifier indicating additional information for performing the encoding / decoding method of the present disclosure may be allocated to payloadType used by sei_payload (), and in FIG. 21, '11' is taken as an example.
  • the tile_parameter_set () may include the same information as the syntax element information described above with reference to FIGS. 18 to 20.
  • FIG. 22 is a flowchart of a scalable point cloud decoding method according to an embodiment of the present invention.
  • an encoded texture image, an encoded geometric image, encoded occupancy map information, and encoded auxiliary patch-info information may be obtained from the bitstream.
  • a decoded texture image for each partition may be obtained using the encoded texture image.
  • the partition may include at least one of a slice, a tile, a tile group, and a brick.
  • the geometric image may be reconstructed using at least one of the encoded geometric image, the encoded occupancy map information, and the encoded auxiliary patch-info information.
  • reconstructing the geometric image may include obtaining a decoded geometric image for each partition by using the encoded geometric image.
  • the method may include generating decoded occupancy map information for each partition using the encoded occupancy map information.
  • the method may include generating decoded auxiliary patch-info information for each partition using the encoded auxiliary patch-info information.
  • the method may include smoothing the geometric image.
  • the point cloud may be reconstructed using the texture image and the geometric image for each partition.
  • the information on whether or not to apply the partition to the point cloud from the bitstream can be further decoded.
  • At least one of 3D bounding box information and 2D bounding box information may be further decoded based on information on whether the partition is applied.
  • At least one of information on whether a partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the header information.
  • At least one of information on whether a partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the SEI message information.
  • mapping information indicating a mapping relationship between a texture image, a geometric image, occupancy map information, and auxiliary patch-info information may be further decoded.
  • FIG. 23 is a flowchart of a scalable point cloud encoding method according to an embodiment of the present invention.
  • the point cloud may be divided into at least one partition.
  • the partition may include at least one of a slice, a tile, a tile group, and a brick.
  • the divided at least one partition may be encoded using the information about the partition.
  • encoding the divided at least one partition may include generating a geometric image in which geometric image information is padded for each partition. Also, the method may include generating a texture image in which texture image information is padded for each partition. In addition, the method may include encoding occupancy map information for each partition. In addition, the method may include encoding auxiliary patch-info information for each partition.
  • step S2303 information about a partition may be encoded.
  • the information about the partition may include information about whether the partition is applied to the point cloud.
  • at least one of 3D bounding box information and 2D bounding box information may be further included.
  • At least one of information on whether a partition is applied, 3D bounding box information, and 2D bounding box information may be signaled in the SEI message information.
  • the image data includes an encoded texture image, an encoded geometric image, and an encoding.
  • the occupancy map information and the encoded auxiliary patch-info information wherein the encoded texture image is used to obtain a decoded texture image for each partition, the encoded geometric image, the encoded occupancy map information, and At least one of the encoded auxiliary patch-info information is used to reconstruct a geometric image, and the texture image and the geometric image for each partition may be provided with a computer readable non-transitory recording medium used to reconstruct a point cloud. Can be.
  • a partition-based scalable point cloud encoding / decoding method and apparatus can be provided.
  • an encoding / decoding method and apparatus supporting RSS for a point cloud may be provided.
  • an encoding / decoding method and apparatus capable of performing parallel processing on a point cloud may be provided.
  • a partition (tile) based structure may improve encoding / decoding performance by performing encoding / decoding in parallel.
  • anchor software eg TMC2
  • anchor software eg TMC13
  • V-PCC structure capable of supporting parallel execution and a corresponding Syntax / Semantics may be provided.
  • V-PCC structure capable of supporting RSS and a corresponding Syntax / Semantics may be provided.
  • the present invention can be applied to the G-PCC structure by delivering information having the same operating principle and the same semantics.
  • the methods are described based on a flowchart as a series of steps or units, but the present invention is not limited to the order of the steps, and any steps may occur in a different order or at the same time than the other steps described above. Can be. Also, one of ordinary skill in the art would appreciate that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.
  • the present invention can be used to encode / decode a point cloud.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 개시된다. 본 개시의 복호화 방법은 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 Auxiliary patch-info 정보를 획득하는 단계, 상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 Auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계 및 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함할 수 있다.

Description

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
본 발명은 스케일러블 포인트 클라우드의 부호화/복호화 방법 및 장치에 관한 것이다. 구체적으로, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치에 관한 것이다.
입력 포인트 클라우드에 대한 종래의 부호화/복호화 방법에서는 region of spatial scalability (RSS)가 지원되지 않고 있다. 상기 종래의 부호화/복호화 방법은 MPEG PCC의 Category 2 dataset을 위한 앵커 소프트웨어(TMC2)를 의미할 수 있다. 또한, 상기 종래의 부호화/복호화 방법은 다양한 성능을 지원하기 위해 5단계의 비트율 기준을 정했지만, 비트율이 낮을수록 디코딩된 영상의 화질은 나빠질 수 있다. 한편, 저장 공간이나 전송 속도에 한계가 있는 장치에서는 압축률이 더 높은, 즉 낮은 비트율 기준을 선호할 수 있다. 하지만, 사용자에게 더 나은 UX(user experience)를 지원하기 위해서는 사용자가 관심을 갖는 영역과 그렇지 않은 영역에 대해 부분별 압축률을 다르게 할 필요가 있다.
또한, 상기 종래의 부호화/복호화 방법에서는 병렬 인코딩/디코딩 기능이 지원되지 않고 있다. 상기 종래의 부호화/복호화 방법은 패칭(patching) 프로세스 및/또는 HM 인코딩 프로세스를 포함할 수 있는데, 이때 인코딩 과정에서 상기 두 개의 프로세스에 대한 실행 시간은 비슷하다. 현재 HM에 기반한 빠른 인코딩 칩은 개발되었지만 패칭 프로세스를 위한 빠른 인코딩 칩은 개발되지 않았다. 따라서, 병렬 처리가 가능한 인코더/디코더 구조를 설계하는 것이 매우 중요할 수 있다.
본 발명은 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득하는 단계; 상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계; 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계; 및 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법이 제공될 수 있다.
일 실시예에 따른 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 기하 영상을 스무딩(smoothing)하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 비트스트림으로부터 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
일 실시예에 따른 상기 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할하는 단계; 상기 파티션에 관한 정보를 이용하여 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계; 및 상기 파티션에 관한 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법이 제공될 수 있다.
일 실시예에 따른 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 파티션에 관한 정보는, 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함할 수 있다.
일 실시예에 따른 상기 파티션에 관한 정보는, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 본 발명에 따르면, 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서, 상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고, 상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고, 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용될 수 있다.
본 발명에 따르면, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치가 제공될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 복호화기의 동작을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 13은 본 발명의 일 실시예에 따라 부호화되는 정보를 설명하기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 복호화기의 동작을 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 18 내지 도 20은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 21은 본 발명의 또 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 복호화 방법의 흐름도이다.
도 23은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화 방법의 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
입력 포인트 클라우드에 대한 종래의 부호화/복호화 방법에서는 패칭(patching) 프로세스와 HM 인코딩 프로세스를 연속적으로 처리하여 부호화/복호화를 수행할 수 있다. 한편, 본 발명에 따르면, region of spatial scalability(RSS)를 지원할 수 있다. 즉, 영역별 압축 화질을 다르게 할 수 있다. 또한, 병렬 부호화/복호화가 가능한 스케일러블 포인트 클라우드 부호화/복호화 방법이 제공될 수 있다.
이하에서는, 설명의 편의성을 위해 종래의 부호화/복호화 방법(예를 들어, V-PCC)에 기반하여 본 개시의 부호화/복호화 방법에 대해 후술한다.
본 개시의 부호화/복호화 방법 및 장치는 파티션 개념을 이용함으로써 PCC 요구사항인 RSS 기능을 지원할 수 있다. 또한, 본 개시의 부호화/복호화 방법 및 장치는 파티션 개념을 이용함으로써 부호화/복호화를 병렬적으로 수행할 수 있다.
포인트 클라우드 모델의 경우, 어떤 특정 영역의 관심도가 다른 영역의 관심도보다 더 높을 수 있다. 이때, 영역간의 상대적 중요성에 따라 다른 수준의 품질 할당을 하는 것이 중요할 수 있다. 예를 들어, 사용자가 높은 관심을 가질 만한 영역은 높은 비트율을 설정하고, 그 외의 영역은 낮은 비트율을 설정할 필요가 있다.
본 발명에 따르면, 입력된 포인트 클라우드 정보는 삼차원 공간상의 부분별 파티션 단위로 구분될 수 있다. 또한, 상기 파티션에 대해 부호화하고자 하는 비트율 단계가 각각 지정될 수 있다. 여기서, 상기 파티션은 슬라이스, 타일, 타일 그룹, 브릭 중 적어도 하나일 수 있다. 상기 구분된 각각의 슬라이스 또는 타일에 대해 하나의 관심 영역(Region of Interest, ROI) 계층에 대한 정보가 형성되고, 각각 독립적으로 부호화될 수 있다. 한편, 각 파티션에 대해 서로 다른 비트율 단계를 지정하지 않고 동일한 비트율 단계를 지정하더라도, 본 개시의 파티션 기반의 구조에서는 부호화/복호화가 병렬적으로 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 1에서 입력된 포인트 클라우드 정보를 구분하기 위한 파티션 단위는 슬라이스 단위가 이용되었지만, 이에 제한되지 않으며, 타일, 타일 그룹, 브릭 등 포인트 클라우드 정보를 구분할 수 있는 소정의 단위를 포함할 수 있다.
도 1을 참조하면, 부호화기는 입력된 포인트 클라우드(1)를 슬라이스 생성 프로세스(2)를 이용하여 하나 이상의 슬라이스(계층)로 분할함으로써 복수의 슬라이스(3) 계층을 생성할 수 있다. 또한, 부호화기는 상기 복수의 슬라이스(3)를 인코딩 프로세스(예를 들면, 패치 생성, 이미지 패딩 및/또는 비디오 압축)(4)를 이용하여 독립적으로 부호화할 수 있다. 또한, 부호화기는 각 슬라이스에 대한 서브-비트스트림(5)을 다중화기(6)를 이용하여 하나의 압축 비트스트림(7)으로 결합할 수 있다.
도 2는 본 발명의 일 실시예에 따른 복호화기의 동작을 설명하기 위한 블록도이다.
도 2에서 입력된 포인트 클라우드 정보를 구분하기 위한 파티션 단위는 슬라이스 단위가 이용되었지만, 이에 제한되지 않으며, 타일, 타일 그룹, 브릭 등 포인트 클라우드 정보를 구분할 수 있는 소정의 단위를 포함할 수 있다.
도 2를 참조하면, 복호화기는 입력된 압축 비트스트림(8)을 역다중화기(9)를 이용하여 슬라이스 레벨의 복수의 서브-비트스트림(10)으로 역다중화할 수 있다. 또한, 복호화기는 상기 복수의 서브-비트스트림(10)을 디코딩 프로세스(예를 들면, 패칭 및/또는 HM 디코딩 프로세스)(11)를 이용하여 독립적으로 복호화할 수 있다. 또한, 복호화기는 복호화된 슬라이스 별 데이터(12)를 슬라이스 조합 프로세스(13)를 이용하여 하나의 포인트 클라우드(14)로 결합할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 3을 참조하면, 한 명의 사람을 나타내는 입력 포인트 클라우드는 머리 부분(파티션 1)과 몸통 부분(파티션 2)의 2개의 파티션으로 분할될 수 있다. 이때, 2개의 파티션은 각각 독립적으로 부호화/복호화될 수 있다. 또한, 독립적으로 복호화된 각각의 파티션은 하나의 포인트 클라우드로 결합되어 출력될 수 있다. 한편, 상기 파티션은 슬라이스, 타일, 타일 그룹, 브릭 등을 의미할 수 있다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 4 내지 도 8을 참조하면, 종래의 포인트 클라우드 부호화/복호화 과정(예를 들면, MPEG의 PCC Category 2)과 비교하여, enable_slice_segment, slice_geometry_stream_size_in_bytes, slice_geometry_d0_stream_size_in_bytes, slice_geometry_d1_stream_size_in_bytes, slice_texture_stream_size_in_bytes, number_of_slice 등의 구문 요소가 추가된 것을 알 수 있다. 한편, 상기 각각의 구문 요소의 명칭은 일 예이며, 실시예에 따라 달라질 수 있다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
구체적으로, 도 9는 실험 수행 환경을 설명하기 위한 도면이고, 도 10 및 도 11은 성능 비교 결과를 설명하기 위한 도면이다.
여기서, 종래의 부호화/복호화 방법 및 장치는 V-PCC를 의미할 수 있다. 또한, 본 개시의 부호화/복호화 방법은 V-PCC를 기반으로 도 1 내지 도 8에서 상술한 구성들을 추가한 것일 수 있다.
도 9를 참조하면, 두 가지 방법 간의 비교를 위해, Cat 2의 한 시퀀스(즉, Longdress_vox10_ 1051 ~ 1114.ply)를 테스트 데이터 세트로 이용하였다. 이때, 머리 영역을 관심영역(ROI)으로 가정하였다. 따라서, 머리 슬라이스는 Lossy_Geo & Color_AI 인코딩 조건의 r5(즉, 높은 비트율 조건)로 부호화하고, 몸통 슬라이스는 각각 r1, r2, r3, r4(즉, 낮은 비트율 조건)으로 부호화하였다.
도 10에서, V-PCC는 종래의 부호화/복호화 방법의 수행 결과이고, Slice-based method는 본 개시의 부호화/복호화 방법의 수행 결과이다. 본 개시의 부호화/복호화 방법을 이용한 경우의 PSNR 결과는 종래의 부호화/복호화 방법을 이용한 경우의 PSNR 결과와 거의 유사하고, 비트 전송률의 증가가 거의 없음을 알 수 있다.
도 11에서, 도 11의 (b)의 예와 같이 본 개시의 부호화/복호화 방법을 이용하여 복원된 머리 영역의 화질이 도 11의 (a)의 예와 같이 종래의 부호화/복호화 방법을 이용하여 복원된 머리 영역의 화질보다 더 선명하고 우수한 것을 알 수 있다.
도 12는 본 발명의 다른 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 13은 본 발명의 일 실시예에 따라 부호화되는 정보를 설명하기 위한 도면이다.
도 12 및 도 13에서, 파티션은 타일을 의미할 수 있다.
도 12를 참조하면, 부호화기는 입력된 포인트 클라우드(1)를 Logical Partition(2)을 이용하여 적어도 하나 이상의 파티션으로 분할함으로써 복수의 파티션을 생성할 수 있다. 부호화기는 상기 복수의 파티션을 Patch Generation(3)을 이용하여 각 파티션에 해당하는 패치 정보를 생성할 수 있다. 여기서, 상기 Patch Generation(3)은 V-PCC의 인코딩 프로세스에서의 소정의 과정을 의미할 수 있다. 한편, 상기 생성된 패치 정보는 Geometry image generation(4), Texture image generation(5), Occupancy map compression(6) 및/또는 Auxiliary patch-info compression(7)에 전달될 수 있다.
부호화기는 Geometry image generation(4)을 이용하여 각 파티션의 기하 영상 정보가 패딩된 기하 영상(8)을 생성할 수 있다. 도 13에서 Geometry Frame은 상기 기하 영상 정보가 패딩된 기하 영상(8)의 일 예이다. 부호화기는 Texture image generation(5)을 이용하여 각 파티션의 텍스처 영상 정보가 패딩된 텍스처 영상(9)을 생성할 수 있다. 도 13에서 Texture Frame은 상기 텍스처 영상 정보가 패딩된 텍스처 영상(9)의 일 예이다. 부호화기는 상기 기하 영상(8)과 텍스처 영상(9)을 통상의 Video Compression(12)을 이용하여 압축함으로써 압축된 기하 비디오(13)와 압축된 텍스처 비디오(14)를 생성할 수 있다.
부호화기는 Occupancy map compression(6)을 이용하여 각 파티션에 대한 압축된 occupancy map(10)을 생성할 수 있다. 이때, 각 파티션에 대한 Occupancy Map 정보는 도 13의 Occupancy Map 1/2의 예와 같이 영상의 형태로 생성되어 통상의 Video Compression 과정을 통해 압축될 수 있다. 또는, 기정의된 traversal order에 따라 획득된 binary bit 값을 Run-length 인코딩함으로써 도 12에 도시된 바와 같이 각 파티션에 대한 정보가 개별적으로 전송될 수도 있다.
부호화기는 Auxiliary path-info compression(7)을 이용하여 각 파티션에 대한 압축된 Auxiliary patch-info(11)를 생성할 수 있다.
부호화기는 상기 생성된 압축된 기하 비디오(13), 압축된 텍스처 비디오(14), 압축된 occupancy map(10) 및/또는 압축된 Auxiliary patch-info(11)를 다중화기(15)를 이용하여 하나의 압축 비트스트림(16)으로 결합할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 복호화기의 동작을 설명하기 위한 도면이다.
도 14에서, 파티션은 타일을 의미할 수 있다.
도 14를 참조하면, 복호화기는 입력되는 압축 비트스트림(17)을 역다중화기(18)를 이용하여 압축된 텍스처 비디오(19), 압축된 기하 비디오(20), 압축된 occupancy map(21) 및/또는 압축된 Auxiliary patch-info(22)로 역다중화할 수 있다.
복호화기는 상기 압축된 텍스처 비디오(19), 압축된 기하 비디오(20)를 Video decompression(23)을 이용하여 복호화함으로써 복호화된 텍스처 비디오(24), 복호화된 기하 비디오(25)를 생성할 수 있다. 도 13에서 Texture Frame은 상기 복호화된 텍스처 비디오(24)의 일 예일 수 있다. 또한, 도 13에서 Geometry Frame은 상기 복호화된 기하 비디오(25)의 일 예일 수 있다.
복호화기는 복호화된 텍스처 비디오(24)를 Decompressed texture video separation(26)을 이용하여 각 파티션 별 텍스처 영상(30)을 생성할 수 있다. 예를 들면, 도 13의 Texture Frame에서, 복호화기는 Texture Frame의 상단 부분을 차지하고 있는 파티션1(머리 부분)에 대한 텍스처 영상과 Texture Frame의 하단 부분을 차지하고 있는 파티션2(몸통 부분)에 대한 텍스처 영상을 분리할 수 있다.
복호화기는 복호화된 기하 비디오(25)를 Decompressed geometry video separation(27)을 이용하여 각 파티션 별 기하 영상(31)을 생성할 수 있다. 예를 들면, 도 13의 Geometry Frame에서, 복호화기는 Geometry Frame의 상단 부분을 차지하고 있는 파티션1(머리 부분)에 대한 기하 영상과 Geometry Frame의 하단 부분을 차지하고 있는 파티션2(몸통 부분)에 대한 기하 영상을 분리할 수 있다.
복호화기는 압축된 occupancy map(21)을 Occupancy map decompression(28)을 이용하여 각 파티션 별 복호화된 occupancy map(32)을 생성할 수 있다. 복호화기는 압축된 Auxiliary patch-info(22)를 Auxiliary patch-info decompression(29)을 이용하여 각 파티션 별 복호화된 Auxiliary patch-info(33)를 생성할 수 있다.
복호화기는 상기 복호화된 각 파티션 별 기하 영상(31), 각 파티션 별 복호화된 occupancy map (32) 및/또는 각 파티션 별 복호화된 Auxiliary patch-info(33)를 Geometry reconstruction(34)을 이용하여 복원된 기하 정보를 생성할 수 있다. 또한, 복호화기는 상기 생성된 복원된 기하 정보를 smoothing(35)을 이용하여 smoothing된 기하 정보를 생성할 수 있다.
복호화기는 각 파티션 별 텍스처 영상(30)과 smoothing된 기하 정보를 Texture reconstruction(36)을 이용하여 각 파티션 별 포인트 클라우드 정보를 복원할 수 있다. 또한, 복호화기는 상기 복원된 파티션 별 포인트 클라우드 정보를 Combination(37)을 이용하여 하나의 포인트 클라우드(38)로 결합할 수 있다.
도 15 및 도 16은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
구체적으로, 도 15는 실험 수행 환경을 설명하기 위한 도면이고, 도 16은 성능 비교 결과를 설명하기 위한 도면이다.
여기서, 종래의 부호화/복호화 방법 및 장치는 V-PCC를 의미할 수 있다. 또한, 본 개시의 부호화/복호화 방법은 V-PCC를 기반으로 도 12 내지 도 14에서 상술한 구성들을 추가한 것일 수 있다.
한편, 도 9 내지 도 11의 예와 비교하여, 본 개시의 부호화/복호화 방법은 각 파티션에 대해 서로 다른 비트율 단계를 지정하지 않고 동일한 비트율 단계를 지정하였다. 이 경우에도, 본 개시의 파티션 기반의 구조는 부호화/복호화를 병렬적으로 수행함으로써 부호화/복호화 성능을 향상시킬 수 있다.
도 17은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 17을 참조하면, 한 명의 사람을 나타내는 입력 포인트 클라우드는 3개의 파티션으로 분할될 수 있다. 이때, 상기 3개의 파티션은 3D bounding box를 이용하여 분할될 수 있다. 또한, 상기 3개의 파티션은 2D bounding box에 의해 구분되어 독립적으로 부호화/복호화될 수 있다. 또한, 독립적으로 복호화된 각각의 파티션은 하나의 포인트 클라우드로 결합되어 출력될 수 있다. 한편, 도 17에서 상기 파티션은 타일을 의미할 수 있으나, 이에 제한되지 않으며, 슬라이스, 타일 그룹, 브릭 등을 의미할 수도 있다.
본 발명의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작을 부호화기/복호화기에서 구현하기 위해 소정의 구문 요소 정보가 종래의 MPEG V-PCC 부호화/복호화 과정에 추가될 수 있다.
일 예로, 포인트 클라우드 정보를 파티션을 적용하여 복수의 파티션으로 분할하여 부호화되었는지 파티션을 적용하지 않았는지를 알려주는 정보가 추가될 수 있다. 상기 정보는 헤더 정보에서 시그널링 될 수 있다.
다른 예로, 포인트 클라우드가 복수의 파티션으로 분할된 경우, 각 파티션에 대한 3D bounding box 정보 및/또는 패칭(patching) 프로세스 이후의 비디오 데이터에 대해 각 파티션에 대한 2D bounding box 정보가 추가될 수 있다. 상기 정보들은 이미 부호화된 정보를 이용하여 복원할 수 있으나, 계산 복잡도가 높아질 수 있기 때문에, 헤더 정보에서 시그널링 될 수 있다.
또 다른 예로, 텍스처/기하 비디오, occupancy map 정보, auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보가 추가될 수 있다. 상기 매핑 정보는 헤더 정보에서 시그널링 될 수 있다.
도 18 내지 도 20은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
구체적으로, 도 18은 종래의 MPEG V-PCC 부호화/복호화 과정의 V-PCC unit payload syntax와 Tile parameter set syntax에서 상기 소정의 구문 요소 정보가 추가된 일 예이다. 또한, 도 19는 본 개시의 파티션 기반의 부호화/복호화 방법을 적용하는 경우 종래의 MPEG V-PCC 부호화/복호화 과정의 vpcc_unit_payload()에서 vpcc_unit_type의 변경 사항을 도시한 일 예이다. 예를 들면, vpcc_unit_type 값이 ‘1’일 경우 VPCC_TPS의 식별자로 사용될 수 있다. 또한, 도 20은 도 18에서 추가된 구문 요소 정보의 의미를 나타낸 일 예이다.
도 21은 본 발명의 또 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 21을 참조하면, 본 개시의 부호화/복호화 방법을 구현하기 위해 필요한 구문 요소 정보는 SEI Message syntax에 추가될 수 있다. 여기서, tile parameter set SEI message는 각 파티션의 2D bounding box 및/또는 3D bounding box를 규정하는 매개변수 정보를 포함할 수 있다.
도 21을 참조하면, sei_payload()에서 사용하는 payloadType에 대해 본 개시의 부호화/복호화 방법을 수행하기 위한 추가 정보를 나타내는 식별자를 할당할 수 있으며, 도 21에서는 ‘11’을 일 예로 하였다. tile_parameter_set()은 도 18 내지 도 20에서 상술하였던 구문 요소 정보들과 동일한 정보를 포함할 수 있다.
도 22는 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 복호화 방법의 흐름도이다.
단계 S2201에서, 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득할 수 있다.
단계 S2202에서, 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득할 수 있다.
한편, 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
단계 S2203에서, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원할 수 있다.
한편, 상기 기하 영상을 복원하는 것은, 상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 것을 포함할 수 있다. 또한, 상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 것을 포함할 수 있다. 또한, 상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 것을 포함할 수 있다. 또한, 상기 기하 영상을 스무딩(smoothing)하는 것을 포함할 수 있다.
단계 S2204에서, 각각의 파티션에 대한 텍스처 영상 및 기하 영상을 이용하여 포인트 클라우드를 복원할 수 있다.
한편, 비트스트림으로부터 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 더 복호화할 수 있다.
한편, 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 복호화할 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
한편, 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 더 복호화할 수 있다.
도 23은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화 방법의 흐름도이다.
단계 S2301에서, 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할할 수 있다.
한편, 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
단계 S2302에서, 파티션에 관한 정보를 이용하여 분할된 적어도 하나 이상의 파티션을 부호화할 수 있다.
한편, 분할된 적어도 하나 이상의 파티션을 부호화하는 것은, 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 것을 포함할 수 있다.
단계 S2303에서, 파티션에 관한 정보를 부호화할 수 있다.
한편, 상기 파티션에 관한 정보는, 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함할 수 있다. 또한, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함할 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서, 상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고, 상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고, 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용되는 컴퓨터 판독가능한 비일시적 기록 매체가 제공될 수 있다.
본 발명에 따르면, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 파티션(타일) 기반의 구조는 부호화/복호화를 병렬적으로 수행함으로써 부호화/복호화 성능을 향상 시킬 수 있다.
또한, 본 발명에 따르면, MPEG PCC의 Category 2 dataset을 위한 앵커 소프트웨어(예를 들면, TMC2) 및/또는 Category 1, 3 dataset을 위한 앵커 소프트웨어(예를 들면, TMC13)에 적용될 수 있다.
또한, 본 발명에 따르면, 병렬적 수행이 지원 가능한 V-PCC 구조와 해당 Syntax/Semantics가 제공될 수 있다.
또한, 본 발명에 따르면, RSS가 지원 가능한 V-PCC 구조와 해당 Syntax/ Semantics가 제공될 수 있다.
또한, 본 발명에 따르면, 동일한 동작 원리와 동일한 semantics를 갖는 정보를 전달함으로써 G-PCC 구조에도 적용할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
본 발명은 포인트 클라우드를 부호화/복호화하는데 이용될 수 있다.

Claims (20)

  1. 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득하는 단계;
    상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계;
    상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계; 및
    상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  2. 제1항에 있어서,
    상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  3. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  4. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  5. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  6. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 기하 영상을 스무딩(smoothing)하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  7. 제1항에 있어서,
    상기 비트스트림으로부터 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  8. 제7항에 있어서,
    상기 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  9. 제8항에 있어서,
    상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링되는 스케일러블 포인트 클라우드 복호화 방법.
  10. 제8항에 있어서,
    상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링되는 스케일러블 포인트 클라우드 복호화 방법.
  11. 제1항에 있어서,
    상기 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  12. 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할하는 단계;
    상기 파티션에 관한 정보를 이용하여 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계; 및
    상기 파티션에 관한 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  13. 제12항에 있어서,
    상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  14. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  15. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  16. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  17. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  18. 제12항에 있어서,
    상기 파티션에 관한 정보는, 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  19. 제18항에 있어서,
    상기 파티션에 관한 정보는, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  20. 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서,
    상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고,
    상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고,
    상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고,
    상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용되는 컴퓨터 판독가능한 비일시적 기록 매체.
PCT/KR2019/008650 2018-07-13 2019-07-12 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 WO2020013661A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/259,861 US20210304354A1 (en) 2018-07-13 2019-07-12 Method and device for encoding/decoding scalable point cloud

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20180081791 2018-07-13
KR10-2018-0081791 2018-07-13
KR20180119998 2018-10-08
KR10-2018-0119998 2018-10-08
KR20190032400 2019-03-21
KR10-2019-0032400 2019-03-21
KR20190049156 2019-04-26
KR10-2019-0049156 2019-04-26

Publications (1)

Publication Number Publication Date
WO2020013661A1 true WO2020013661A1 (ko) 2020-01-16

Family

ID=69141480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008650 WO2020013661A1 (ko) 2018-07-13 2019-07-12 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20210304354A1 (ko)
KR (1) KR102660514B1 (ko)
WO (1) WO2020013661A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022098152A1 (ko) * 2020-11-05 2022-05-12 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202103291YA (en) * 2018-12-28 2021-04-29 Sony Corp Information processing apparatus and information processing method
US11954891B2 (en) 2020-06-30 2024-04-09 Electronics And Telecommunications Research Institute Method of compressing occupancy map of three-dimensional point cloud
KR102540770B1 (ko) * 2020-06-30 2023-06-12 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법
WO2022050688A1 (ko) * 2020-09-01 2022-03-10 엘지전자 주식회사 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
US20230345008A1 (en) * 2020-10-30 2023-10-26 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4240014A4 (en) * 2020-10-30 2024-10-02 Lg Electronics Inc POINT CLOUD DATA TRANSMISSION DEVICE, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEIVING DEVICE, AND POINT CLOUD DATA RECEIVING METHOD
KR102618063B1 (ko) * 2020-12-03 2023-12-27 한양대학교 산학협력단 3차원 포인트 클라우드 압축 방법 및 장치
WO2022169176A1 (ko) * 2021-02-08 2022-08-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4329311A1 (en) * 2021-04-22 2024-02-28 LG Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150145950A (ko) * 2014-06-20 2015-12-31 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
WO2018127547A1 (en) * 2017-01-05 2018-07-12 Menhirs Nv Point cloud preprocessing and rendering

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848958B2 (en) * 2009-11-02 2017-12-26 Align Technology, Inc. Generating a dynamic three-dimensional occlusogram
US8954295B1 (en) * 2011-08-10 2015-02-10 Trimble Navigation Limited Determining an outer shell of a composite three-dimensional model
US9842425B2 (en) * 2012-09-21 2017-12-12 Euclideon Pty Ltd. System and method for rendering three-dimensional scenes by a computer graphics processor using orthogonal projection
JP7038377B2 (ja) * 2018-05-23 2022-03-18 富士通株式会社 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
US10817752B2 (en) * 2018-05-31 2020-10-27 Toyota Research Institute, Inc. Virtually boosted training
EP3822915A4 (en) * 2018-07-13 2021-08-18 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
US11961302B2 (en) * 2021-05-25 2024-04-16 The Hong Kong University Of Science And Technology Visual analytics tool for proctoring online exams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150145950A (ko) * 2014-06-20 2015-12-31 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
WO2018127547A1 (en) * 2017-01-05 2018-07-12 Menhirs Nv Point cloud preprocessing and rendering

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEKURIA, R. ET AL.: "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 27, no. 4, April 2017 (2017-04-01), pages 828 - 842, XP055548820, DOI: 10.1109/TCSVT.2016.2543039 *
PREDA, MARIUS: "Point Cloud Compression in MPEG. MP20 workshop", 28 October 2017 (2017-10-28), pages 1 - 22, XP055674796 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022098152A1 (ko) * 2020-11-05 2022-05-12 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11765387B2 (en) 2020-11-05 2023-09-19 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Also Published As

Publication number Publication date
US20210304354A1 (en) 2021-09-30
KR20200007735A (ko) 2020-01-22
KR102660514B1 (ko) 2024-04-24

Similar Documents

Publication Publication Date Title
WO2020013661A1 (ko) 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
WO2014163240A1 (ko) 동영상 처리 방법 및 장치
WO2012144821A2 (en) Method and apparatus for unified scalable video encoding for multi-view video and method and apparatus for unified scalable video decoding for multi-view video
WO2020076058A1 (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
WO2011034372A2 (en) Methods and apparatuses for encoding and decoding mode information
JP2021521730A (ja) 動画を復号する方法、装置、及びコンピュータプログラム
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2012044124A2 (ko) 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2011129573A2 (ko) 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2013015585A1 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2020013567A1 (ko) 컨텐츠의 처리 방법 및 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
WO2019059736A1 (ko) 영상 인코딩 장치, 영상 디코딩 장치, 영상 인코딩 방법 및 영상 디코딩 방법
EP3635953A1 (en) Electronic device for high-speed compression processing of feature map of cnn utilizing system and controlling method thereof
WO2024151032A1 (en) Partial decoding and reconstruction of submeshes
WO2019088435A1 (ko) 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
WO2017099371A1 (ko) 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
WO2017200259A1 (ko) 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2018155939A1 (ko) 영상 복호화 방법 및 장치
WO2018160034A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2015102329A1 (en) Method and apparatus for processing video signal for reducing visibility of blocking artifacts
WO2021107651A1 (ko) 병렬 포렌식 마킹 장치 및 방법
WO2016060494A1 (ko) 부호화된 비디오 데이터 처리 방법 및 장치, 부호화된 비디오 데이터 생성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19835151

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19835151

Country of ref document: EP

Kind code of ref document: A1