WO2024037137A1 - 一种沉浸媒体的数据处理方法、装置、设备、介质和产品 - Google Patents

一种沉浸媒体的数据处理方法、装置、设备、介质和产品 Download PDF

Info

Publication number
WO2024037137A1
WO2024037137A1 PCT/CN2023/098811 CN2023098811W WO2024037137A1 WO 2024037137 A1 WO2024037137 A1 WO 2024037137A1 CN 2023098811 W CN2023098811 W CN 2023098811W WO 2024037137 A1 WO2024037137 A1 WO 2024037137A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
attribute data
data group
group
target
Prior art date
Application number
PCT/CN2023/098811
Other languages
English (en)
French (fr)
Inventor
朱文婕
胡颖
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2024037137A1 publication Critical patent/WO2024037137A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present application relates to the field of computer technology, and in particular to data processing of immersive media.
  • Immersive media refers to media content that can bring an immersive experience to business objects.
  • Point cloud media is a typical immersive media.
  • the related indication method is relatively simple, usually only applicable to the situation where each attribute type has only one attribute data group, and cannot clearly indicate the prediction reference relationship between multiple attribute data groups, thus affecting the decoding efficiency of multi-attribute point cloud code streams.
  • Embodiments of the present application provide an immersive media data processing method, device, equipment, storage medium and program product, which can clarify the prediction reference relationship between multiple attribute data groups and realize attribute prediction between multiple attribute data groups. , thereby improving the decoding efficiency of multi-attribute point cloud code streams.
  • embodiments of the present application provide a data processing method for immersive media, including:
  • the target attribute data group is an attribute data group with a group identifier among at least two attribute data groups.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy an attribute prediction relationship pattern with the target attribute data group;
  • the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state
  • determine the reference attribute data group corresponding to the target attribute data group in the one or more attribute data groups to be referenced refer to the attribute data
  • the group is used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group.
  • embodiments of the present application provide a data processing method for immersive media, including:
  • the target attribute data group is an attribute data group with a group identifier in at least two attribute data groups, At least two attribute data groups include one or more attribute data groups to be referenced that satisfy an attribute prediction relationship pattern with the target attribute data group;
  • the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state
  • determine the reference attribute data group corresponding to the target attribute data group in the one or more attribute data groups to be referenced refer to the attribute data
  • the group is used to participate in the encoding of the target attribute data group or not to participate in the encoding of the target attribute data group.
  • an immersive media data processing device including:
  • the mode acquisition module is used to obtain the attribute prediction relationship mode corresponding to the target attribute data group when decoding the point cloud code stream containing at least two attribute data groups;
  • the target attribute data group is a group that has a group in at least two attribute data groups.
  • Attribute data groups of identifiers; at least two attribute data groups include one or more attribute data groups to be referenced that satisfy an attribute prediction relationship pattern with the target attribute data group;
  • a reference determination module configured to determine the reference attribute corresponding to the target attribute data group in one or more attribute data groups to be referenced when the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state.
  • Data group; the reference attribute data group is used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group.
  • an immersive media data processing device including:
  • a pattern determination module used to determine the attribute prediction relationship pattern corresponding to the target attribute data group when encoding point cloud data containing at least two attribute data groups; the target attribute data group has a group identifier in at least two attribute data groups. At least two attribute data groups include one or more attribute data groups to be referenced that satisfy the attribute prediction relationship pattern with the target attribute data group;
  • a reference determination module configured to determine the reference attribute corresponding to the target attribute data group in one or more attribute data groups to be referenced when the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state.
  • Data group; the reference attribute data group is used to participate in the encoding of the target attribute data group or not to participate in the encoding of the target attribute data group.
  • embodiments of the present application provide a computer device, including: a processor and a memory;
  • the processor is connected to a memory, where the memory is used to store a computer program.
  • the computer program is executed by the processor, the computer device executes the method provided by the embodiment of the present application.
  • inventions of the present application provide a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program.
  • the computer program is adapted to be loaded and executed by a processor, so that a computer device having the processor executes the present application. Examples provide methods.
  • embodiments of the present application provide a computer program product including a computer program, which when run on a computer causes the computer to execute the method in the above aspect.
  • Embodiments of the present application can obtain the attribute prediction relationship pattern corresponding to the target attribute data group during the process of decoding the point cloud code stream containing at least two attribute data groups, where the target attribute data group is at least two attribute data groups.
  • the target attribute data group is at least two attribute data groups.
  • the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state
  • the reference attribute data group corresponding to the target attribute data group can be determined in the one or more attribute data groups to be referenced.
  • the reference attribute data group here can be used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group. Since the embodiments of the present application can distinguish attribute data groups through specified identifiers (for example, the group identifier corresponding to the target attribute data group), and further specify the predicted reference relationship between each attribute data group, it can therefore be used in the corresponding to-be-referenced Quickly determine the reference attribute data group to be referenced when decoding attributes in the attribute data group to achieve attribute prediction between multiple attribute data groups, thereby improving the decoding efficiency of multi-attribute point cloud code streams.
  • specified identifiers for example, the group identifier corresponding to the target attribute data group
  • Figure 1a is a schematic diagram of 3DoF provided by an embodiment of the present application.
  • Figure 1b is a schematic diagram of 3DoF+ provided by the embodiment of the present application.
  • Figure 1c is a schematic diagram of 6DoF provided by the embodiment of the present application.
  • Figure 2 is a schematic flow chart of an immersive media from collection to consumption according to an embodiment of the present application
  • Figure 3 is a schematic architectural diagram of an immersive media system provided by an embodiment of the present application.
  • FIG. 4 is a schematic flowchart of an immersive media data processing method provided by an embodiment of the present application.
  • FIG. 5 is a schematic flowchart of an immersive media data processing method provided by an embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of an immersive media data processing device provided by an embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of an immersive media data processing device provided by an embodiment of the present application.
  • Figure 8 is a schematic structural diagram of a computer device provided by an embodiment of the present application.
  • Figure 9 is a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • Immersive media refers to media files that can provide immersive media content so that business objects immersed in the media content can obtain visual, auditory and other sensory experiences in the real world.
  • Immersive media can be divided into 3DoF media, 3DoF+ media and 6DoF media according to the degree of freedom (DoF) of business objects when consuming media content.
  • DoF degree of freedom
  • point cloud media is a typical 6DoF media.
  • users that is, viewers who consume immersive media (such as point cloud media) can be collectively referred to as business objects.
  • Point cloud is a set of discrete points randomly distributed in space that expresses the spatial structure and surface properties of a three-dimensional object or scene. Each point in the point cloud has at least three-dimensional position information. Depending on the application scenario, it may also have color, material or other information. Typically, each point in a point cloud has the same number of additional attributes.
  • Point clouds can flexibly and conveniently express the spatial structure and surface properties of three-dimensional objects or scenes, and are therefore widely used, including virtual reality (VR) games, computer-aided design (CAD), and geographic information systems (Geography Information). System (GIS), Autonomous Navigation System (ANS), digital cultural heritage, free viewpoint broadcasting, three-dimensional immersive telepresence, three-dimensional reconstruction of biological tissues and organs, etc.
  • VR virtual reality
  • CAD computer-aided design
  • Geography Information Geographic Information systems
  • GIS Geographic Information Systems
  • ANS Autonomous Navigation System
  • digital cultural heritage digital cultural heritage
  • free viewpoint broadcasting three-dimensional immersive telepresence
  • three-dimensional reconstruction of biological tissues and organs etc.
  • point clouds are: computer generation, 3D (3-Dimension, three-dimensional) laser scanning, 3D photogrammetry, etc.
  • Computers can generate point clouds of virtual three-dimensional objects and scenes.
  • 3D scanning can obtain point clouds of static real-world three-dimensional objects or scenes, and millions of point clouds can be obtained per second.
  • 3D photography can obtain point clouds of dynamic real-world three-dimensional objects or scenes, and tens of millions of point clouds can be obtained per second.
  • point clouds of biological tissues and organs can be obtained from MRI (Magnetic Resonance Imaging), CT (Computed Tomography), and electromagnetic positioning information.
  • MRI Magnetic Resonance Imaging
  • CT Computerputed Tomography
  • electromagnetic positioning information electromagnetic positioning information.
  • a track is a collection of media data in the process of media file encapsulation.
  • a media file can be composed of one or more tracks.
  • a common media file can include a video track, an audio track, and a subtitle track.
  • a sample is the encapsulation unit in the media file encapsulation process.
  • a track is composed of many samples.
  • a video track can be composed of many samples, and a sample is usually a video frame.
  • a sample may be a point cloud frame.
  • DoF refers to the degree of freedom that business objects support for movement and content interaction when viewing immersive media (such as point cloud media), which can include 3DoF (three degrees of freedom), 3DoF+ and 6DoF (six degrees of freedom).
  • 3DoF refers to the three degrees of freedom of the business object's head rotating around the x-axis, y-axis, and z-axis.
  • 3DoF+ is based on three degrees of freedom.
  • the business object also has limited degrees of freedom of movement along the x-axis, y-axis, and z-axis.
  • 6DoF is based on three degrees of freedom.
  • Business objects also have degrees of freedom to move freely along the x-axis, y-axis, and z-axis.
  • ISOBMFF ISO Based Media File Format, media file format based on ISO (International Standard Organization, International Organization for Standardization) standards: It is the packaging standard for media files. The more typical ISOBMFF file is MP4 (Moving Picture Experts Group 4, dynamic Image Expert Group 4) document.
  • DASH Dynamic Adaptive Streaming over HTTP, dynamic adaptive streaming based on HTTP (Hyper Text Transfer Protocol, Hypertext Transfer Protocol): It is an adaptive bit rate technology that enables high-quality streaming media to pass through the traditional HTTP network Servers are delivered over the Internet.
  • MPD Media Presentation Description, media presentation description signaling in DASH, used to describe media segment information in media files.
  • Representation level refers to the combination of one or more media components in DASH. For example, a video file of a certain resolution can be regarded as a Representation.
  • Adaptation Sets refers to a collection of one or more video streams in DASH.
  • An Adaptation Set can contain multiple Representations.
  • Media Segment A playable segment that conforms to a certain media format. When playing, it may need to cooperate with the previous 0 or more segments and the initialization segment (Initialization Segment).
  • the embodiments of this application relate to the data processing technology of immersive media. Some concepts in the data processing process of immersive media will be introduced below. It is particularly noted that in subsequent embodiments of this application, the immersive media will be point cloud media as an example. illustrate.
  • FIG. 1a is a schematic diagram of 3DoF provided by an embodiment of the present application.
  • 3DoF means that the business object consuming immersive media is fixed at the center point of a three-dimensional space, and the business object's head is rotated along the X-axis, Y-axis, and Z-axis to watch the images provided by the media content.
  • Figure 1b is a schematic diagram of 3DoF+ provided by an embodiment of the present application.
  • 3DoF+ means that when the virtual scene provided by immersive media has certain depth information, the head of the business object can move in a limited space based on 3DoF to watch the pictures provided by the media content.
  • FIG. 1c is a schematic diagram of 6DoF provided by an embodiment of the present application.
  • 6DoF is divided into window 6DoF, omnidirectional 6DoF and 6DoF.
  • Window 6DoF means that the rotational movement of the business object on the X-axis and Y-axis is limited, and the translation on the Z-axis is limited; for example, the business object Objects cannot see outside the window frame, and business objects cannot pass through the window.
  • Omnidirectional 6DoF means that the rotational movement of business objects on the X-axis, Y-axis, and Z-axis is limited.
  • business objects cannot freely pass through three-dimensional 360-degree VR content in a restricted movement area.
  • 6DoF means that business objects can freely translate along the X-axis, Y-axis, and Z-axis based on 3DoF.
  • business objects can move freely in three-dimensional 360-degree VR content.
  • Figure 2 is a schematic flowchart of an immersive media from collection to consumption according to an embodiment of the present application.
  • the complete processing process for immersive media can specifically include: point cloud collection, point cloud encoding, point cloud file encapsulation, point cloud file transmission, point cloud file decapsulation, point cloud Decoding and final video rendering.
  • point cloud acquisition can convert point cloud data collected by multiple cameras from different angles into binary digital information.
  • the binary digital information converted from point cloud data is a binary data stream.
  • the binary digital information can also be It is called the code stream or bitstream of the point cloud data.
  • Point cloud encoding refers to converting the original video format file into another video format file through compression technology. From the point of view of the acquisition method of point cloud data, point cloud data can be divided into two methods: those captured by cameras and those generated by computers. Due to different statistical characteristics, the corresponding compression encoding methods may also be different.
  • Commonly used compression encoding methods can include HEVC (High Efficiency Video Coding, international video coding standard HEVC/H.265), VVC (Versatile Video Coding, international video coding standard VVC/H.266), AVS (Audio Video Coding Standard, China’s national video coding standard ), AVS3 (the third generation video coding standard launched by the AVS standards group), etc.
  • HEVC High Efficiency Video Coding, international video coding standard HEVC/H.265)
  • VVC Very Video Coding, international video coding standard VVC/H.266)
  • AVS Anaudio Video Coding Standard, China’s national video coding standard
  • AVS3 the third generation video coding standard launched by the AVS standards group
  • Point cloud file encapsulation refers to encapsulating the encoded data stream according to the encapsulation format (or container, or file container).
  • the compressed point cloud code stream is stored in a file according to a certain format.
  • Common encapsulation formats include AVI format (Audio Video Interleaved, audio and video interleaved format) or ISOBMFF format.
  • the point cloud code stream is encapsulated in a file container according to a file format such as ISOBMFF to form a point cloud file (which may also be called a media file, encapsulated file, or video file).
  • the point cloud file may be composed of multiple tracks. , for example, it can contain a video track, an audio track and a subtitle track.
  • the content production device After the content production device performs the above encoding process and file encapsulation process, it can transfer the point cloud file to the client on the content consumption device.
  • the client can then perform the reverse operations such as decapsulation and decoding, and then perform the final media processing on the client. Presentation of content.
  • point cloud files can be sent to the client based on various transmission protocols.
  • the transmission protocols here can include but are not limited to: DASH protocol, HLS (HTTP Live Streaming, dynamic code rate adaptive transmission) protocol, SMTP (Smart Media Transport Protocol) , Intelligent Media Transfer Protocol), TCP (Transmission Control Protocol, Transmission Control Protocol), etc.
  • the client's file decapsulation process is opposite to the above-mentioned file encapsulation process.
  • the client can decapsulate the point cloud file according to the file format requirements during encapsulation to obtain the point cloud code stream.
  • the client's decoding process is also opposite to the encoding process. For example, the client can decode the point cloud code stream and restore the media content.
  • the immersive media system may include a content production device (eg, content production device 100A) and a content consumption device (eg, content consumption device 100B).
  • the content production device may be a point cloud media provider (eg, point cloud media provider).
  • the computer equipment used by cloud media content producers which can be a terminal (such as a PC (Personal Computer), a smart mobile device (such as a smartphone), etc.) or a server.
  • the server can be an independent physical server, or a server cluster or distributed system composed of multiple physical servers.
  • the content consumption device may refer to a computer device used by users of point cloud media (such as viewers of point cloud media, that is, business objects).
  • the computer device may be a terminal (such as a PC (Personal Computer), a smart mobile device (such as smartphones), VR equipment (such as VR helmets, VR glasses, etc.), smart home appliances, vehicle-mounted terminals, aircraft, etc.), the computer equipment is integrated with a client.
  • the client here may be a client with the function of displaying text, images, audio, video and other data information, including but not limited to multimedia clients (for example, video clients), social clients (for example, instant messaging clients) client), information applications (for example, news client), entertainment client (for example, game client), shopping client, car client, browser, etc.
  • multimedia clients for example, video clients
  • social clients for example, instant messaging clients
  • information applications for example, news client
  • entertainment client for example, game client
  • shopping client for example, car client, browser, etc.
  • the client may be an independent client or an embedded sub-client integrated in a certain client (for example, a social client), which is not limited here.
  • Cloud technology refers to a hosting technology that unifies a series of resources such as hardware, software, and networks within a wide area network or local area network to realize data calculation, storage, processing, and sharing.
  • the data processing process of point cloud media includes the data processing process on the content production device side and the data processing process on the content consumption device side.
  • the data processing process on the content production device side mainly includes: (1) the acquisition and production process of point cloud media media content; (2) the encoding and file encapsulation process of point cloud media.
  • the data processing process on the content consumption device side mainly includes: (1) the process of file decapsulation and decoding of point cloud media; (2) the rendering process of point cloud media.
  • the point cloud media transmission process between the content production equipment and the content consumption equipment is involved. This transmission process can be carried out based on various transmission protocols.
  • the transmission protocols here can include but are not limited to: DASH protocol, HLS protocol, SMTP protocol. , TCP protocol, etc.
  • the media content of point cloud media is obtained by collecting real-world sound-visual scenes through capture devices.
  • the capture device may refer to a hardware component provided in the content production device.
  • the capture device refers to a microphone, camera, sensor, etc. of the terminal.
  • the capture device may also be a hardware device connected to the content production device, such as a camera connected to a server, used to provide the content production device with a point cloud media content acquisition service.
  • the capture device may include, but is not limited to: audio equipment, camera equipment, and sensing equipment.
  • the audio device may include an audio sensor, a microphone, etc.
  • Camera equipment can include ordinary cameras, stereo cameras, light field cameras, etc.
  • Sensing devices may include laser devices, radar devices, etc.
  • the number of capture devices can be multiple. These capture devices are deployed at some specific locations in the real space to simultaneously capture audio content and video content from different angles in the space.
  • the captured audio content and video content are uniform in time and space. Stay in sync.
  • the media content of the three-dimensional space collected by the capture device deployed at a specific location and used to provide a multi-degree of freedom (such as 6DoF) viewing experience can be called point cloud media.
  • the visual scene 10A (such as a real-world visual scene) can be captured by a set of camera arrays connected to the content production device 100A, or, it can Captured by a camera device having multiple cameras and sensors connected to the content production device 100A.
  • the collection result may be the source point cloud data 10B (ie, the video content of the point cloud media).
  • the media content production process of point cloud media involved in the embodiment of the present application can be understood as the content production process of point cloud media, and the content production of point cloud media here is mainly performed by cameras deployed in multiple locations or It is produced from content in the form of point cloud data captured by a camera array.
  • content production equipment can convert point cloud media from a three-dimensional representation to a two-dimensional representation.
  • the point cloud media here can include geometric information, attribute information, placeholder map information, atlas data, etc.
  • Point cloud media generally requires specific processing before encoding. For example, point cloud data requires cutting, mapping and other processes before encoding.
  • 1 project the three-dimensional representation data of the collected and input point cloud media (i.e., the above-mentioned point cloud data) onto a two-dimensional plane, usually using orthogonal projection, perspective projection, ERP projection (Equi-Rectangular Projection, Equirectangular Projection)
  • the point cloud media projected onto the two-dimensional plane is represented by the data of the geometric component, the placeholder component and the attribute component.
  • the data of the geometric component provides the position information of each point of the point cloud media in the three-dimensional space
  • the data of the attribute component Provide additional attributes of each point of the point cloud media (such as color, texture or material information), and the data of the placeholder component indicates whether the data in other components is associated with the point cloud media;
  • the tiles generated by a point cloud media can be packaged into one or more atlases
  • the geometric component is required, the placeholder component is conditionally required, and the attribute component is optional.
  • the panoramic video can be captured using a capture device, after such video is processed by the content production device and transmitted to the content consumption device for corresponding data processing, the business object on the content consumption device side needs to execute some specific Actions (such as head rotation) to view 360-degree video information, but performing non-specific actions (such as moving the head) cannot obtain corresponding video changes, resulting in a poor VR experience, so additional depth matching the panoramic video is required.
  • Information to enable business objects to obtain better immersion and a better VR experience which involves 6DoF production technology.
  • 6DoF When business objects can move relatively freely in the simulated scene, it is called 6DoF.
  • the capture equipment When using 6DoF production technology to produce point cloud media video content, the capture equipment generally uses laser equipment, radar equipment, etc. to capture point cloud data in space.
  • the captured audio content can be directly audio encoded to form an audio code stream for point cloud media.
  • the captured video content can be video encoded to obtain the video stream of point cloud media.
  • a specific encoding method such as a point cloud compression method based on traditional video coding
  • the audio code stream and the video code stream are encapsulated in a file container according to the file format of the point cloud media (such as ISOBMFF) to form the media file resource of the point cloud media.
  • the media file resource can be a media file or a media segment formed by the point cloud media.
  • the media files use media presentation description information (MPD) to record the metadata of the media file resources of the point cloud media in accordance with the file format requirements of the point cloud media.
  • MPD media presentation description information
  • the metadata is information related to the presentation of the point cloud media.
  • the metadata may include description information of the media content, description information of the window, signaling information related to the presentation of the media content, etc. It can be understood that the content production device will store the media presentation description information and media file resources formed after the data processing process.
  • the collected audio will be encoded into the corresponding audio code stream.
  • the geometric information, attribute information and placeholder map information of the point cloud media can use the traditional video encoding method, while the atlas data of the point cloud media can use entropy coding. Way.
  • a certain format such as ISOBMFF, HNSS
  • the content production device 100A performs point cloud media encoding on one or more data frames in the source point cloud data 10B, for example, using geometry-based point cloud compression (Geometry-based Point Cloud Compression, GPCC, where PCC means point cloud compression), thereby obtaining the encoded point cloud code stream 10E (i.e., video code stream, such as GPCC code stream), including the geometry code stream (i.e., the code stream obtained after encoding geometric information) And the attribute code stream (that is, the code stream obtained after encoding the attribute information).
  • geometry-based point cloud compression Geometry-based Point Cloud Compression, GPCC, where PCC means point cloud compression
  • the content production device 100A can encapsulate one or more encoded code streams into a media file 10F for local playback according to a specific media file format (such as ISOBMFF), or encapsulate it into a media file 10F for streaming transmission.
  • a fragment sequence 10F s containing an initialization fragment and multiple media fragments.
  • the file encapsulator in the content production device 100A may also add relevant metadata to the media file 10F or the fragment sequence 10F s .
  • the content production device 100A can use a certain transmission mechanism (such as DASH, SMT) to transmit the fragment sequence 10F s to the content consumption device 100B, or transmit the media file 10F to the content consumption device 100B.
  • content consumption device 100B may be a player.
  • the content consumption device can obtain the media file resources of the point cloud media and the corresponding media presentation description information from the content production device through the recommendation of the content production device or adaptively dynamically according to the business object requirements on the content consumption device side.
  • the content consumption device can obtain the point cloud media media file resources and corresponding media presentation description information according to the business requirements.
  • the position information of the object's head/eyes determines the viewing direction and viewing position of the business object, and then dynamically requests the content production device to obtain corresponding media file resources based on the determined viewing direction and viewing position.
  • Media file resources and media presentation description information are transmitted from the content production device to the content consumption device through a transmission mechanism (such as DASH, SMT).
  • the file decapsulation process on the content consumption device side is opposite to the file encapsulation process on the content production device side.
  • the content consumption device decapsulates the media file resources according to the file format requirements of point cloud media (for example, ISOBMFF) to obtain the audio code stream and video code stream.
  • the decoding process on the content consumption device side is opposite to the encoding process on the content production device side.
  • the content consumption device performs audio decoding on the audio code stream and restores the audio content; the content consumption device performs video decoding on the video code stream and restores the video. content.
  • the media file 10F output by the file encapsulator in the content production device 100A is the same as the media file 10F' input to the file depackager in the content consumption device 100B.
  • the file decapsulator performs file decapsulation processing on the media file 10F' or the received fragment sequence 10F' s , and extracts the encoded point cloud code stream 10E', while parsing the corresponding metadata, and then the point cloud code can be
  • the stream 10E' performs point cloud media decoding to obtain a decoded video signal 10D', and point cloud data (ie, restored video content) can be generated from the video signal 10D'.
  • media file 10F and media file 10F' may include a track format definition, which may include constraints on the elementary streams contained in the samples in the track.
  • the content consumption device renders the audio content obtained by audio decoding and the video content obtained by video decoding according to the metadata related to rendering in the media presentation description information corresponding to the media file resource. When the rendering is completed, the playback output of the content is realized.
  • the content consumption device 100B can render the point cloud data generated above based on the current viewing position, viewing direction or view window, and display it on the screen of a head-mounted display or any other display device.
  • the current view window may be determined by various types of sensors.
  • the sensors here may include head detection sensors, and possibly position detection sensors or eye detection sensors.
  • the current viewing position or viewing direction may also be used for decoding optimization.
  • the current viewing position and viewing direction are also passed to the policy module in the content consumption device 100B, and the policy module can determine the track to be received based on the current viewing position and viewing direction.
  • the content consumption device can dynamically obtain the media file resources corresponding to the point cloud media from the content production device side. Since the media file resources are obtained by the content production device after encoding and encapsulating the captured audio and video content, therefore After the content consumption device receives the media file resources returned by the content production device, it needs to first decapsulate the media file resources to obtain the corresponding audio and video code streams, and then decode the audio and video code streams before finally decoding them. The final audio and video content is presented to the business object.
  • the point cloud media here can include but is not limited to VPCC (Video-based Point Cloud Compression, point cloud compression based on traditional video coding) point cloud media, GPCC (Geometry-based Point Cloud Compression, point cloud compression based on geometric model) points Cloud media.
  • VPCC Video-based Point Cloud Compression, point cloud compression based on traditional video coding
  • GPCC Geometry-based Point Cloud Compression, point cloud compression based on geometric model
  • the point cloud sequence is the highest level syntax structure of the point cloud code stream.
  • the point cloud sequence starts with the sequence header information (referred to as the sequence header), followed by one or more point cloud frames.
  • Each point cloud frame can be preceded by
  • geometry header information referred to as geometry header
  • attribute header referred to as attribute header
  • point cloud slice data consists of geometric slice header, geometric information, attribute slice header and attribute information.
  • the attribute data contained in the point cloud data or the point cloud code stream can be divided into corresponding attribute data groups.
  • Each attribute data group corresponds to an attribute type, and each attribute data group contains corresponding attributes.
  • the attribute data group in the point cloud data may be an uncoded attribute data group or an encoded attribute data group; similarly, the attribute data in the point cloud code stream A group may be an undecoded attribute data group or a decoded attribute data group.
  • the attribute types may include but are not limited to color attributes, reflectivity attributes, normal vector attributes, material attributes, etc.
  • many point cloud coding technologies support cross-type attribute prediction, that is, when encoding the current attribute data group, the information of the previously encoded attribute data group can be used in a specific way (for example, Color RGB encoded values, reflectivity encoded values, etc.) to improve the efficiency of encoding the current attribute data group.
  • the embodiment of the present application refers to the currently encoded (or decoded) attribute data group as the target attribute data group, and the attribute data group (if any) referenced when encoding (or decoding) the target attribute data group as is the reference attribute data group.
  • a certain point cloud data contains multiple attribute data groups of multiple attribute types, such as color attribute data group 1, color attribute data group 2, color attribute data group 3, and reflectance attribute data group 1 and reflectance attribute data.
  • the reflectance attribute data group 2 if the reflectance attribute data group 2 is currently being encoded, it may refer to one or more of the color attribute data group 1, color attribute data group 2, and color attribute data group 3, or it may refer to both A certain color attribute data group refers to the reflectance attribute data group 1. It may also refer to a certain attribute data group or an attribute data group with a certain attribute type by default, and the reference situation at the encoding end corresponds to this. It can be seen that , the prediction reference relationships between different attribute data groups may be different, and the existing technology usually defaults to only one color attribute data group and reflectance attribute data group, so as to clarify the association between the two through simple instructions.
  • this application provides a method for indicating high-level syntax information of point cloud code streams, which can specify the association between each attribute data group.
  • the content production device can encode the obtained point cloud data. Assuming that the point cloud data contains at least two attribute data groups, during the attribute encoding process, the attribute prediction relationship corresponding to the target attribute data group can be determined first. pattern, where the target attribute data group is an attribute data group with a group identifier among at least two attribute data groups, and the at least two attribute data groups also include one or more that satisfy the attribute prediction relationship pattern with the target attribute data group. Multiple attribute data groups to be referenced.
  • the content production device can determine the reference attribute corresponding to the target attribute data group in the one or more attribute data groups to be referenced. Data group, and then the target attribute data group can be encoded based on the reference attribute data group, or the target attribute data group can be directly encoded. After the encoding is completed, the obtained point cloud code stream can be encapsulated into an immersive media media file, and then the media file can be transmitted to a content consumption device for consumption.
  • attribute data groups can be distinguished by specified identifiers (such as the group identifier corresponding to the target attribute data group), and the predicted reference relationship between each attribute data group can be further specified, so that Quickly determine the reference attribute data group to be referenced when encoding attributes in the corresponding one or more attribute data groups to be referenced to achieve attribute prediction between multiple attribute data groups, which can ultimately improve the coding efficiency of multi-attribute point cloud data. .
  • the content consumption device can decapsulate the received media file to obtain the corresponding point cloud code stream, and then decode the point cloud code stream.
  • the label attribute data can be obtained
  • the attribute prediction relationship model corresponding to the group can then determine the reference corresponding to the target attribute data group in these attribute data groups to be referenced when the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state.
  • Attribute data group may be used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group.
  • the embodiment of the present application can quickly obtain the reference attribute data group to be referenced during attribute decoding in the corresponding one or more attribute data groups to be referenced, so as to realize multiple attribute data groups. Attribute prediction between them can improve the decoding efficiency of multi-attribute point cloud code streams.
  • the methods provided by the embodiments of the present application can be applied to the server side (i.e., the content production device side), the player side (i.e., the content consumption device side), and intermediate nodes (for example, SMT (Smart Media Transport) of the immersive media system).
  • Media transmission) receiving entity, SMT sending entity) and other links can also be applied to point cloud compression related products.
  • the content production device determines the attribute prediction relationship pattern corresponding to the target attribute data group, determines the reference attribute data group corresponding to the target attribute data group, and encodes the target attribute data group, and the content consumption device obtains the target attribute data.
  • the attribute prediction relationship pattern corresponding to the group as well as the specific process of determining the reference attribute data group corresponding to the target attribute data group and decoding the target attribute data group, please refer to the description of the embodiments corresponding to Figures 4 and 5 below.
  • FIG. 4 is a schematic flowchart of an immersive media data processing method provided by an embodiment of the present application.
  • This method can be executed by a content production device in the immersive media system (for example, the content production device 100A in the embodiment corresponding to Figure 3 above).
  • the content production device can be a server.
  • the embodiment of this application takes server execution as an example. Be explained.
  • the method may include at least the following S101-S102:
  • the server can obtain point cloud data of a real-world three-dimensional object or scene through a capture device (for example, a camera array including multiple cameras), or the server can generate point cloud data of a virtual three-dimensional object or scene.
  • the point cloud data here can be used to characterize the spatial structure and surface properties (such as color, material, etc.) of the corresponding three-dimensional object or scene.
  • the server can encode the obtained point cloud data.
  • the encoding process here includes encoding the geometric data and encoding the attribute data.
  • the embodiment of this application mainly describes the encoding process of the attribute data. Assuming that the point cloud data contains at least two attribute data groups, the attribute types and specific quantities of the attribute data groups are not limited here. Then when encoding the target attribute data group, you can first determine the attributes corresponding to the target attribute data group. Predicting relationship patterns.
  • the target attribute data group is an attribute data group with a group identifier among at least two attribute data groups. It can be understood that each attribute data group can have a unique identifier for differentiation. Therefore, through the change of the group identifier,
  • the target attribute data group can be any one of at least two attribute data groups to be encoded, and the corresponding attribute parameter can also be further identified by a group identifier.
  • the group identifier may be the index or label of the target attribute data group, or may be some agreed symbols. The specific content of the group identifier will not be limited here.
  • the at least two attribute data groups mentioned above may also include one or more attribute data groups to be referenced that satisfy the attribute prediction relationship pattern with the target attribute data group.
  • the number of attribute data groups to be referenced is not limited here.
  • the attribute prediction relationship model may also be called a multi-attribute association relationship model, which may include but is not limited to an inter-attribute prediction mode and a default attribute prediction mode.
  • the inter-attribute prediction mode may include but is not limited to cross-attribute prediction mode, same-attribute prediction mode, and general attribute prediction mode, where the cross-attribute prediction mode refers to the attribute prediction mode across attribute types and can be used for prediction between different attribute types;
  • the same attribute prediction mode refers to the attribute prediction mode of the same attribute type, which can be used for prediction between the same attribute types;
  • the general attribute prediction mode can include any one or more of the cross-attribute prediction mode and the same attribute prediction mode, and can be used for different attributes. Prediction between restricted attribute types.
  • the default attribute prediction mode refers to the attribute prediction mode that is enabled by default on both the encoding and decoding ends.
  • the attribute prediction relationship pattern corresponding to the target attribute data group By specifying the attribute prediction relationship pattern corresponding to the target attribute data group, you can quickly learn one or more attribute data groups to be referenced that satisfy the attribute prediction relationship pattern with the target attribute data group, that is, one or more attribute data groups to be referenced.
  • the attribute type corresponding to the attribute data group is related to the specified attribute prediction relationship mode. For example, when the attribute type of the target attribute data group is a color attribute, if the attribute prediction relationship mode it supports is the same attribute prediction mode, the attribute types corresponding to one or more attribute data groups to be referenced are also color attributes. .
  • attribute prediction relationship modes supported by attribute data groups of different attribute types may be the same or different, and the attribute prediction relationship modes supported by multiple attribute data groups of the same attribute type may be the same or different. This application There is no limit to this.
  • the server can further obtain the target attribute data group for one or more attribute data groups to be referenced. prediction status.
  • the prediction state may include a prediction on state and a prediction off state. It can be understood that the prediction on state here may indicate that the target attribute data group turns on the corresponding attribute prediction relationship mode for one or more attribute data groups to be referenced. ; On the contrary, the prediction off state can mean that the target attribute data group does not turn on the attribute prediction relationship mode.
  • the attribute prediction relationship mode corresponding to the target attribute data group is the default attribute prediction mode, that is, the parameters used to indicate the attribute prediction relationship mode are not transmitted, and the encoding end (i.e., the server side) and the decoding end (i.e., the client) jointly It is agreed to enable an attribute prediction relationship mode (such as one of cross-attribute prediction mode, same attribute prediction mode, general attribute prediction mode, etc.) as the default attribute prediction mode, then the server can use the corresponding one or more attribute data to be referenced.
  • the reference attribute data group corresponding to the target attribute data group is determined in the group, and the target attribute data group can be encoded based on the reference attribute data group or the target attribute data group can be directly encoded.
  • the relevant information in subsequent S102 please refer to the relevant information in subsequent S102. The description will not be expanded upon here.
  • the encoding and decoding end can also disable any attribute prediction relationship mode by default, that is, the current attribute encoding does not refer to any encoded attribute data group.
  • the embodiments of the present application can support multiple methods to determine the attribute prediction relationship mode corresponding to the target attribute data group. These methods can be implemented by performing field expansion at the high-level syntax level of the code stream, for example, in the field associated with point cloud data. Add a mode flag field to the parameter set to indicate the attribute prediction relationship mode. Several possible implementations are listed below:
  • a first mode flag field carrying a group identifier can be added to a parameter set (such as a sequence parameter set or an attribute parameter set) associated with the point cloud data, where the first mode flag The field can be used to indicate that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a cross-attribute prediction mode.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the cross-attribute prediction mode with the target attribute data group. It can be understood that the attribute type corresponding to the one or more attribute data groups to be referenced here is The attribute type corresponding to the target attribute data group is not the same.
  • the first mode flag field can be a flag bit, and can use different values to indicate whether the target attribute data group turns on the cross-attribute prediction mode.
  • the field value of the first mode flag field is the first flag value (for example, the value is 1)
  • Status optionally, when the field value of the first mode flag field is the second flag value (for example, the value is 0), it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is prediction. Disabled.
  • the flag bit i.e., the first mode flag field
  • a second mode flag field carrying a group identifier can be added to a parameter set (such as a sequence parameter set or an attribute parameter set) associated with the point cloud data, where the second mode The flag field can be used to indicate that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is the same attribute prediction mode.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the same attribute prediction mode as the target attribute data group. It can be understood that the attribute type corresponding to the one or more attribute data groups to be referenced here is The same attribute type as the target attribute data group.
  • the second mode flag field can be a flag bit, and can use different values to indicate whether the target attribute data group enables the same attribute prediction mode.
  • the field value of the second mode flag field is the third flag value (for example, the value is 1)
  • it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state.
  • the field value of the second mode flag field is the fourth flag value (for example, the value is 0)
  • it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is prediction closed. state.
  • the flag bit i.e., the second Mode flag field
  • a third mode flag field carrying a group identifier can be added to a parameter set (such as a sequence parameter set or an attribute parameter set) associated with the point cloud data, where the third mode The flag field may be used to indicate that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a general attribute prediction mode.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy a common attribute prediction model with the target attribute data group. It can be understood that the attribute type corresponding to the one or more attribute data groups to be referenced here is The attribute types corresponding to the target attribute data group are the same or different, that is, the attribute types corresponding to one or more attribute data groups to be referenced are not limited.
  • the third mode flag field can be a flag bit, and can use different values to indicate whether the target attribute data group turns on the general attribute prediction mode.
  • the field value of the third mode flag field is the fifth flag value (for example, the value is 1)
  • it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state.
  • the field value of the third mode flag field is the sixth flag value (for example, the value is 0)
  • it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is prediction closed. state.
  • the flag bit i.e., the third mode flag field
  • a first mode flag field and a second mode flag field carrying a group identifier can be added to a parameter set (such as a sequence parameter set or an attribute parameter set) associated with the point cloud data.
  • the first mode flag field and the second mode flag field here can be used together to indicate that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a universal attribute prediction mode.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy a common attribute prediction mode with the target attribute data group.
  • both the first mode flag field and the second mode flag field can be flag bits, and they can use different value combinations to indicate whether the target attribute data group turns on the corresponding attribute prediction mode (such as cross-attribute prediction mode). and any one or more of the same attribute prediction modes).
  • the field value of the first mode flag field is the first flag value (for example, the value is 1)
  • the field value of the second mode flag field is the third flag value (for example, the value is 1)
  • the attribute type corresponding to one or more attribute data groups to be referenced is the same as the attribute type corresponding to the target attribute data group. or different, that is, attribute prediction without restrictions on types is enabled.
  • the field value of the first mode flag field is the second flag value (for example, the value is 0)
  • the field value of the second mode flag field is the third flag value (for example, the value is 1) , indicating that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state
  • the attribute type corresponding to one or more attribute data groups to be referenced is the same as the attribute type corresponding to the target attribute data group. , that is, enabling attribute prediction among the same type.
  • the field value of the first mode flag field is the first flag value (for example, the value is 1)
  • the field value of the second mode flag field is the fourth flag value (for example, the value is 0)
  • the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state
  • the attribute type corresponding to one or more attribute data groups to be referenced is different from the attribute type corresponding to the target attribute data group, That is, cross-type attribute prediction is enabled.
  • the field value of the first mode flag field is the second flag value (for example, the value is 0)
  • the field value of the second mode flag field is the fourth flag value (for example, the value is 0)
  • the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction closed state
  • the attribute type corresponding to one or more attribute data groups to be referenced is the same as or different from the attribute type corresponding to the target attribute data group.
  • attribute prediction without restrictions on types is not enabled.
  • the server can set the flag bit crossAttrTypePred[attrIdx] in the attribute header information (eg, attribute_header) associated with the point cloud data.
  • the above-mentioned mode flag field may not carry a group identifier, for example, for each attribute data group
  • the group identifier does not need to be carried.
  • Other similar methods are not listed one by one here. The specific method can be determined according to actual needs, and the embodiments of the present application do not limit this.
  • the server can further determine the reference attribute data group required to encode the target attribute data group.
  • the server can determine the target in the corresponding one or more attribute data groups to be referenced.
  • the reference attribute data group corresponding to the attribute data group.
  • the reference attribute data group here may be used to participate in the encoding of the target attribute data group or not to participate in the encoding of the target attribute data group, which is not limited in the embodiment of the present application.
  • the embodiments of the present application can support multiple methods to determine the reference attribute data group corresponding to the target attribute data group and encode the target attribute data group.
  • Several possible implementation methods are listed below:
  • the server can add a reference group identifier (optional) to the attribute header information associated with the point cloud data.
  • the reference group identifier here can be used to specify any attribute data group, For example, it can be used to indicate a single reference attribute data group corresponding to the target attribute data group among one or more attribute data groups to be referenced.
  • the reference group identifier may or may not carry a group identifier. The specifics need to be determined based on the actual syntax used. It should be noted that the essence of the reference group identifier and the group identifier should be unified, but the values may be different. For example, when the group identifier is the index of the target attribute data group, the reference group identifier is the reference attribute data. The index of the group.
  • the codec end can also default to the parameter value of the reference group identifier (that is, when encoding the target attribute data group, it defaults to a certain reference attribute data group specified by the codec end, such as the first of all attribute data groups. attribute data group).
  • the server may encode the target attribute data group based on the attribute prediction parameter group and the reference attribute data group indicated by the reference group identifier.
  • the target attribute data group can be directly encoded.
  • whether the target attribute data group relies on the attribute prediction parameter group for encoding can be determined by the codec end, or indicated by setting the field value of the mode flag field.
  • the field value (such as the first mode flag field, the second mode flag field, the third mode flag field, etc.) is the enable flag value (referring to the value used when the mode flag field indicates the enable state, for example, for the first mode flag When the possible value of the field is the first flag value), it can indicate that the target attribute data group is encoded relying on the attribute prediction parameter group.
  • the attribute prediction parameter group may include one or more attribute parameters required in the attribute prediction process of the target attribute data group. The specific content and quantity of the attribute parameters included in the attribute prediction parameter group will not be limited here.
  • the method provided by the embodiments of this application is an expansion based on the existing technology. It adds several descriptive fields to the point cloud code stream, including field expansion at the high-level syntax level of the code stream, and is suitable for different multi-attribute fields. support plan. Therefore, the "group identifier" and "reference group identifier” in this application may have different definitions when applied in the syntax of different solutions. To facilitate understanding and explanation, examples will be given later to illustrate the expansion of this application based on two existing solutions. Other similar solutions can also refer to the description of these two solutions.
  • the embodiment of this application adds several descriptive fields at the system layer, taking the form of extended AVS GPCC code stream high-level syntax as an example, and defines a point cloud high-level syntax information indication method.
  • the following will combine the relevant syntax pairs in AVS The related fields extended in the high-level syntax of the GPCC code stream are explained in detail.
  • Table 1 is used to indicate the syntax of the attribute header information structure (attribute_header) of a point cloud media provided by the embodiment of the present application:
  • the attribute header information structure shown in Table 1 distinguishes the attribute data groups with the unique identifier attrIdx, and supports multiple groups of point cloud data containing the same point cloud type.
  • attributeDataType[attrIdx] indicates the attribute type of the attribute data group corresponding to attrIdx.
  • a value of 0 indicates that the attribute data group is color data; a value of 1 indicates that the attribute data group is reflectance data. It can also be represented by other values.
  • Property types other than color and reflectivity are not limited here.
  • maxNumAttributesMinus1 is an unsigned integer, plus 1 indicates the maximum number of attribute encoding data groups supported by this standard code stream. The value of maxNumAttributesMinus1 is an integer between 0 and 15.
  • AttrIdx is the identifier of the corresponding attribute data group. For example, assuming that there are currently 5 attribute data groups, the attrIdx corresponding to each attribute data group can be 0, 1, 2, 3, and 4 in order, and the attributes of each attribute data group The type is indicated by attributeDataType[attrIdx].
  • the "group identifier” i.e., attrIdx in Table 1
  • the "reference group identifier” i.e., attrIdx_pred in Table 1
  • the values of both are one-dimensional values. That is to say, in this case, a set of data instances of each point cloud data type can correspond to a unique attribute data identifier (i.e., data group identifier symbol).
  • any attribute data group in the point cloud data can be indicated by referring to the group identifier.
  • the value of the reference group identifier is the first symbol value
  • it means that the corresponding reference attribute data group is the first attribute data group of at least two attribute data groups
  • the reference group identifier is When the value is the second symbol value, it means that the corresponding reference attribute data group is the first attribute data group of a specific attribute type (for example, the first attribute data group of the color attribute).
  • the specific attribute type is not limited here; it can
  • the value of the reference group identifier is the third symbol value, it means that the corresponding reference attribute data group is the previous attribute data group of the target attribute data group.
  • the value of the group identifier at this time is the same as the third symbol value.
  • the difference between the three symbol values is 1.
  • the reference group identifier can also take other values to indicate the corresponding reference attribute data group, which will not be listed one by one here. It should be noted that for the same point cloud data, the specific values of the first symbol value, the second symbol value and the third symbol value may be the same or different, and this is not limited in the embodiments of the present application.
  • the target attribute data group in the embodiment of this application refers to the currently encoded attribute data group
  • the reference attribute data group it relies on should usually be the encoded attribute data group, but in some special cases (for example, the reference attribute data group is directly specified without considering the encoding order, as in the first embodiment above). If the encoding order of the reference attribute data group is later than the encoding order of the target attribute data group, the current attribute data group cannot be modified based on the reference attribute data group. If the target attribute data group is predicted and encoded, the target attribute data group can be directly encoded at this time, or the previously encoded attribute data group can be referenced by default (for example, the previous attribute data group of the target attribute data group).
  • the server can set the attribute prediction parameter group corresponding to the target attribute data group at this time.
  • the attribute prediction parameter group here may specifically include crossAttrTypePredParam or other parameters. For example, it may include a first attribute prediction weight parameter (such as crossAttrTypePredParam1 in the above-mentioned Table 1) and a second attribute prediction weight parameter (such as crossAttrTypePredParam2 in the above-mentioned Table 1).
  • crossAttrTypePredParam1 (also known as cross-type attribute prediction weight parameter 1) is a 15-bit unsigned integer, which can be used to control the corresponding attribute prediction (such as cross-type attribute prediction) to calculate the weight of geometric information distance and attribute information distance.
  • Parameter 1 (also known as cross-type attribute prediction weight parameter 2) is a 21-bit unsigned integer that can be used to control the weight parameter 2 of the geometric information distance and attribute information distance in the corresponding attribute prediction (such as cross-type attribute prediction).
  • the server can encode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group. For example, these three can be substituted into the relevant algorithm for calculation to find the prediction point. The details are not mentioned here.
  • the coding process is carried out.
  • the server may first set an attribute prediction parameter group corresponding to the target attribute data group.
  • the attribute prediction parameter group here may also include a first attribute prediction weight parameter and a second attribute prediction weight parameter. If the target attribute data group relies on the attribute prediction parameter group for encoding, and the value of the group identifier is greater than the value of the reference group identifier, the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data can be used Group encodes the target attribute data group.
  • the method in the above-mentioned first embodiment requires the server to first judge the value of the group identifier and the reference group identifier, and then set the corresponding attribute prediction parameter group on the premise that the a priori conditions are met; and
  • the server first sets the attribute prediction parameter group, and then determines whether to enable the preset attribute prediction parameter group by judging conditions.
  • any one of the methods may be selected, and the embodiments of the present application do not limit this.
  • the server can directly encode the target attribute data group.
  • Table 2 is used to indicate the syntax of the attribute header information structure (attribute_header) of a point cloud media provided by the embodiment of the present application:
  • the attribute header information structure shown in Table 2 binds the point cloud attribute type to the identifier attrIdx.
  • the specific attribute parameters are represented by the corresponding index i, and supports multiple sets of point cloud data containing the same point cloud type.
  • maxNumAttributesMinus1 is an unsigned integer, plus 1 indicates the maximum number of attribute encodings supported by this standard code stream.
  • the value of maxNumAttributesMinus1 is an integer between 0 and 15. When maxNumAttributesMinus1 does not appear in the code stream, maxNumAttributesMinus1 defaults to -1.
  • attributePresentFlag[attrIdx] is the attribute existence flag and is a binary variable.
  • a value of '1' indicates that this code stream contains the attrIdx attribute code; a value of '0' indicates that this code stream does not contain the attrIdx attribute code.
  • sps_multi_data_set_flag 1 to enable support for attribute multi-data sets; sps_multi_data_set_flag equals 0 to disable support for attribute multi-data sets; when sps_multi_data_set_flag does not appear in the code stream, its default value is zero.
  • multi_data_set_flag[attrIdx] 1 indicating that the attribute determined by the attribute type index attrIdx is turned on and supports attribute multi-data set;
  • multi_data_set_flag[attrIdx] 0 indicates that the attribute determined by the attribute type index attrIdx is turned off and supports attribute multi-data set; this syntax element is in the code stream When it does not exist, its default value is zero.
  • attribute_num_data_set_minus1[attrIdx] plus one specifies the number of attribute multi-data sets supported by the attribute determined by the attribute type index attrIdx. This is a number between 0 and 15. When the syntax element does not exist in the code stream, its default The value is zero.
  • crossAttrTypePred is the first mode flag field mentioned above. attrIdx is an integer ranging from 0 to 15. Its meaning can be seen in Table 3:
  • a value of 0 for attrIdx indicates that the attribute data group is color data; a value of 1 indicates that the attribute data group is reflectance data.
  • Other values can also be taken to represent other attributes besides color and reflectance. Type is not limited here.
  • the group identifier can be the target attribute type index corresponding to the target attribute data group (such as attrIdx in Table 2), and correspondingly, the reference group identifier can be the reference attribute type index corresponding to the reference attribute data group (such as Table 2 attrIdx_pred in 2), at this time the values of both are one-dimensional values, that is to say, the group identifier and the reference group identifier are only used to indicate the attribute type of the corresponding attribute data group. In this way, when the value of the reference group identifier is the fourth symbol value (eg, the value is 0), it can be expressed that the reference attribute data group is the default of the attribute type (eg, color attribute) indicated by the fourth symbol value. Attribute data group.
  • the default attribute data group here refers to the default attribute data group on the encoding and decoding end, and does not need to be specified through additional parameters.
  • the reference attribute data group can be the first attribute data group of the color attribute.
  • the embodiment of the present application will not limit the specific numerical value of the fourth symbol value.
  • the default attribute type here refers to the default attribute type (for example, reflectance attribute) on the encoding and decoding end, and does not need to be specified through additional parameters.
  • the reference attribute data group can be the i-th reflectivity attribute. Attribute data group. The embodiment of the present application will not limit the specific numerical value of the fifth symbol value.
  • the group identifier may include the target attribute type index (such as attrIdx in Table 2) and the target data group index (such as i in Table 2) corresponding to the target attribute data group.
  • the reference group identifier (such as attrIdx_pred) in Table 2 may include the reference attribute type index and the reference data group index corresponding to the reference attribute data group. In this case, both the group identifier and the reference group identifier are two-dimensional arrays.
  • the value of the reference attribute type index is the first index value
  • the first index value is the index value corresponding to the first encoded attribute type.
  • the value of the reference attribute type index is the third index value
  • the server can further determine the attribute prediction parameter group corresponding to the target attribute data group, as follows:
  • the target attribute data group relies on the attribute prediction parameter group for encoding
  • the value of the reference attribute type index is the same as the value of the target attribute type index
  • the server can set the attributes corresponding to the target attribute data group. Prediction parameter group.
  • the attribute prediction parameter group here may include a first attribute prediction weight parameter (such as crossAttrTypePredParam1 in the above-mentioned Table 2) and a second attribute prediction weight parameter (such as crossAttrTypePredParam2 in the above-mentioned Table 2).
  • a first attribute prediction weight parameter such as crossAttrTypePredParam1 in the above-mentioned Table 2
  • a second attribute prediction weight parameter such as crossAttrTypePredParam2 in the above-mentioned Table 2
  • the server may encode the target attribute data set based on the first attribute prediction weight parameter, the second attribute prediction weight parameter, and the reference attribute data set.
  • the server may also first set the attribute prediction parameter group (including the first attribute prediction weight parameter, the second attribute prediction weight parameter) corresponding to the target attribute data group. ), if the target attribute data group relies on the attribute prediction parameter group for encoding, and the value of the reference attribute type index is the same as the value of the target attribute type index, and the value of the target data group index is greater than the value of the reference data group index , then the target attribute data group can be encoded based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group.
  • the server can set the attribute prediction parameter group corresponding to the target attribute data group.
  • the attribute prediction parameter group here may include a first attribute prediction weight parameter and a second attribute prediction weight parameter.
  • the target attribute data set may be encoded based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data set.
  • the server may also first set the attribute prediction parameter group (including the first attribute prediction weight parameter, the second attribute prediction weight parameter) corresponding to the target attribute data group. ), if the target attribute data group relies on the attribute prediction parameter group for encoding, and the value of the reference attribute type index is different from the value of the target attribute type index, and the encoding sequence of the attribute type indicated by the reference attribute type index precedes According to the attribute type indicated by the target attribute type index, the target attribute data group can be encoded based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group.
  • the server can add a reference group identifier list (optional item) carrying the group identifier in the attribute header information associated with the point cloud data.
  • the reference group identifier list here may include one or more reference group identifiers, each reference group identifier is used to indicate a reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced. .
  • This embodiment of the present application will not limit the number of reference group identifiers included in the reference group identifier list. That is to say, one or more reference attribute data groups can be referenced at the same time when encoding the target attribute data group.
  • the codec end may also default to the parameter values of the reference group identifier list (that is, the default reference is to one or more reference attribute data groups specified by the codec end).
  • the server can set the attribute prediction parameter group associated with each reference attribute data group, and then can pair the attribute prediction parameter group and the reference attribute data group based on the set attribute data group.
  • the target attribute data group is encoded.
  • the reference group identifier list provided by the embodiment of the present application is also applicable to the syntax shown in Table 1 and Table 2 above.
  • attrIdx_pred in the table can be replaced by attrIdx_pred_list (i.e., dynamic identifier list), which is equivalent to One or more attrIdx_pred are specified through an attrIdx_pred_list.
  • attrIdx_pred in the table can be replaced by attrIdx_pred_list (i.e., dynamic identifier list), which is equivalent to One or more attrIdx_pred are specified through an attrIdx_pred_list.
  • the meaning of the group identifier and the meaning of each reference group identifier in the corresponding reference group identifier list can be referred to the relevant description in the first embodiment, and will not be described again here.
  • one or more reference attribute data groups corresponding to the reference group identifier list may all be attribute data groups encoded before the target attribute data group, and the attribute type corresponding to each reference attribute data group is the same as the target attribute.
  • the attribute types corresponding to the data groups may be the same or different; or, one or more reference attribute data groups may all be attribute data groups that are coded before the target attribute data group and have a specific attribute type; or, one or more reference attribute data groups may be
  • the attribute data groups may all be encoded attribute data groups with specific attribute types, which will not be listed one by one in the embodiments of this application.
  • the specific attribute type here can be any specified type.
  • the attribute prediction parameter group corresponding to each reference attribute data group can be set independently, or the attribute prediction parameter group corresponding to the reference attribute data group with the same attribute type is shared, or each reference attribute data group corresponds to The attribute prediction parameter group is shared, and the attribute prediction parameter group can also be specified in other ways, which is not limited in the embodiment of the present application.
  • the server may add an attribute encoding and decoding order field that carries a group identifier or an attribute encoding and decoding order field that does not carry a group identifier in the attribute header information associated with the point cloud data.
  • the attribute encoding and decoding order field carrying the group identifier can be used to indicate the encoding and decoding order for the attribute type used by the target attribute data group, that is, the encoding and decoding order for the attribute type used by each attribute data group can be the same or different.
  • the attribute encoding and decoding order field that does not carry a group identifier is used to indicate the encoding and decoding order for attribute types used by at least two attribute data groups, that is, all attribute data groups use the same encoding and decoding order for attribute types.
  • the encoding and decoding order here is a general term for encoding order and decoding order. On the encoding side, it can be specifically referred to as the encoding order, and on the decoding side, it can be specifically referred to as the decoding order. They are the same.
  • the server can determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced based on the attribute encoding and decoding order field.
  • the target attribute data group may be encoded based on the attribute prediction parameter group and the reference attribute data group.
  • the third embodiment mainly considers the encoding sequence of attribute types, which can reduce the number of reference attribute data groups used when encoding the target attribute data group after the target attribute data group. Encoding prediction failure conditions improves the effectiveness of reference attribute data set indications.
  • Table 4 is used to indicate the syntax of the attribute header information structure (attribute_header) of a point cloud media provided by the embodiment of the present application:
  • AttrEncodeOrder[attrIdx] is the attribute encoding and decoding order field carrying the group identifier attrIdx. It can be understood that the corresponding attribute encoding and decoding order field can be set for each attribute data group corresponding to attrIdx.
  • attribute header information structure (attribute_header) of a point cloud media provided by the embodiment of the present application:
  • AttrEncodeOrder is the attribute encoding and decoding order field that does not carry the group identifier attrIdx. It can be understood that all attribute data groups use the same attribute encoding and decoding order field.
  • the field value of the attribute encoding and decoding order field (which may or may not carry a group identifier) may be The index value corresponding to the encoding and decoding sequence in the attribute type encoding and decoding sequence table associated with at least two attribute data groups.
  • the encoding and decoding sequence of each attribute type in the attribute type encoding and decoding sequence table here is N attribute types.
  • the corresponding codec sequence For example, assume that there are 4 attribute types, namely attribute type A, attribute type B, attribute type C, and attribute type D.
  • the attribute type encoding and decoding sequence table contains two encoding and decoding sequences.
  • the attribute encoding and decoding order field can be used to describe the specified encoding and decoding order corresponding to N attribute types.
  • the encoding and decoding order of the above four attribute types can be specified as ⁇ A, B, C, through the attribute encoding and decoding order field. D ⁇ .
  • the attribute type corresponding to the target attribute data group is sorted in the encoding and decoding order (ie, encoding order) corresponding to the N attribute types as N1, and N1 is a positive integer less than or equal to N.
  • the specific process for the server to determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced may be: according to the codec order corresponding to the N attribute types indicated by the attribute codec order field,
  • the N2th attribute type located before the attribute type corresponding to the target attribute data group is used as the first predicted attribute type (i.e. single attribute data prediction), or the N2 attribute types located before the attribute type corresponding to the target attribute data group are used as the first predicted attribute type.
  • Attribute type i.e. multiple attribute data prediction
  • N2 is a positive integer less than N1.
  • the server may determine the reference attribute data group corresponding to the target attribute data group among the attribute data groups to be referenced that have previously predicted attribute types contained in one or more attribute data groups to be referenced.
  • the default method of the codec end can be used to set the reference attribute data group corresponding to the target attribute data group.
  • the first attribute data group to be referenced with the first predicted attribute type can be used as the reference attribute data group, or , or all attribute data groups to be referenced with previously predicted attribute types can be used as reference attribute data groups. This default method does not require the transmission of other related parameters to specify the reference attribute data group.
  • attribute type corresponding to the target attribute data group is attribute type B
  • the server may first use all attribute types before the attribute type corresponding to the target attribute data group as the first predicted attribute type according to the encoding and decoding order of the attribute types indicated by the attribute encoding and decoding order field. Then, according to the first predicted attribute type, the attribute header information associated with the point cloud data can be added with a group identifier or a reference group identifier without a group identifier (such as attrIdx_pred), and the added reference group identifier can be
  • a group identifier or a reference group identifier without a group identifier such as attrIdx_pred
  • the attribute type corresponding to the attribute data group indicated by the reference group identifier here belongs to the first-predicted attribute type.
  • the attribute data group to be referenced with the reference group identifier can be used as the reference attribute data group corresponding to the target attribute data group.
  • a reference group identifier list that carries a group identifier or a reference group identifier list that does not carry a group identifier (such as attrIdx_pred_list) in the attribute header information associated with the point cloud data, through the added reference group identifier list.
  • one or more to-be-referenced attribute data groups with previously predicted attribute types may also be used by the codec end as the reference attribute data group by
  • the server can set the attribute prediction parameter group corresponding to the reference attribute data group, and then encode the target attribute data group based on the set attribute prediction parameter group and the reference attribute data group, or directly encode the target attribute data group.
  • the server can set the attribute prediction parameter group corresponding to the reference attribute data group, and then encode the target attribute data group based on the set attribute prediction parameter group and the reference attribute data group, or directly encode the target attribute data group.
  • the reference attribute data group corresponding to the target attribute data group can be the default attribute data group of the server and client, and there is no need to transmit the reference group identifier or the reference group identifier list. Or parameters such as attribute encoding and decoding order fields.
  • the default attribute data group may be the first attribute data group of a specific attribute type or all attribute data groups of the specific attribute type, or it may also be the previous attribute data group of the target attribute data group. This is the case in the embodiment of the present application. No restrictions.
  • the parameter set associated with the point cloud data always contains a mode flag field
  • the server can determine the reference attribute data group by setting the field value of the relevant mode flag field, where the mode flag
  • the fields may include but are not limited to the first mode flag field, the second mode flag field, and the third mode flag field (please refer to the relevant description in S101 above).
  • the number of attribute data groups contained in point cloud data is 2, and the number of attribute data groups to be referenced is 1. That is to say, when there are only two attribute data groups, at most one is to be referenced.
  • the referenced attribute data group optionally, if the field value of the mode flag field corresponding to the target attribute data group and the field value of the mode flag field corresponding to the attribute data group to be referenced are both set to the enable flag value (for example, the value is 1 ), and the coding sequence of the target attribute data group is later than that of the attribute data group to be referenced, then the attribute data group to be referenced can be used as the reference attribute data group corresponding to the target attribute data group.
  • Parameter groups are set to the same value. That is to say, when there are only two attribute data groups, setting the field values of the mode flag fields corresponding to the two attribute data groups to the enable flag value means that there is a reference dependency relationship between the two, and this There is only one reference situation, that is, the later-coded attribute data group refers to the first-coded attribute data group.
  • the field value of the mode flag field corresponding to the target attribute data group is set to the enable flag value (for example, the value is 1), and the field value of the mode flag field corresponding to the attribute data group to be referenced is set to stop Using a flag value (for example, the value is 0), the attribute data group to be referenced can be used as the reference attribute data group corresponding to the target attribute data group.
  • the enable flag value for example, the value is 1
  • the field value of the mode flag field corresponding to the attribute data group to be referenced is set to stop Using a flag value (for example, the value is 0)
  • the attribute data group to be referenced can be used as the reference attribute data group corresponding to the target attribute data group.
  • the field value of the mode flag field corresponding to the post-encoded attribute data group (for example, attribute data group 1) can be set to the enable flag value, and the other attribute data group (For example, attribute data group 2)
  • the field value of the corresponding mode flag field is set to the deactivation flag value, indicating that attribute data group 1 needs to refer to attribute data group 2 when encoding, and the attribute prediction parameter group corresponding to attribute data group 1 needs to be set. , without setting the attribute prediction parameter group corresponding to attribute data group 2.
  • Table 6 is used to indicate the syntax of the attribute header information structure of a point cloud media provided by the embodiment of the present application:
  • the attribute header information structure shown in Table 6 is represented by an independent attribute parameter information header (aps-attribute parameter set), which can support the situation where there is only one set of attribute dependencies.
  • attribute parameter set an independent attribute parameter information header
  • the difference from the scheme shown in Table 1 or Table 2 above is that in the scheme of Table 6, although the corresponding attribute data group is also indicated by the data group identifier attributeID (similar to attrIdx in Table 1), since each attributeID corresponds to The attribute data groups all use independent attribute headers, so the identifier does not need to be used as a subscript or suffix of the attribute parameters in the syntax shown in Table 6 above.
  • the reference relationship between the two can be expressed by setting the field value of crossAttrTypePred (ie, the mode flag field) corresponding to each attribute data group without requiring additional information.
  • the number of attribute data groups contained in the point cloud data is greater than 2, and the number of attribute data groups to be referenced is M, and M is a positive integer greater than or equal to 2.
  • the number of reference attribute data groups corresponding to a group is 1, it means that there can always be only one reference attribute data group. At this time, it is necessary to determine the reference among the M attribute data groups to be referenced by adding the corresponding reference group identifier. Attribute data group.
  • the reference group identifier can be added to the relevant parameter set, so that the attribute data group to be referenced with the reference group identifier among the M attribute data groups to be referenced can be used as the reference attribute data group corresponding to the target attribute data group. , and the coding sequence of the reference attribute data group precedes the target attribute data group. Similarly, at this time, you can only set the attribute prediction parameter group corresponding to the target attribute data group, or you can also set the attribute prediction parameter group corresponding to the target attribute data group and the reference attribute data group to the same value.
  • the reference group identifier can be added to the relevant parameter set, so that The to-be-referenced attribute data group with the reference group identifier among the M to-be-referenced attribute data groups can be used as the reference attribute data group corresponding to the target attribute data group, and the coding sequence of the reference attribute data group precedes the target attribute data group. Similarly, at this time, you need to set the attribute prediction parameter group corresponding to the target attribute data group.
  • Table 7 is used to indicate the syntax of the attribute header information structure of a point cloud media provided by the embodiment of the present application:
  • the attribute header information structure shown in Table 7 is similar to the attribute header information structure shown in Table 6 above. That is, it is represented by an independent attribute parameter information header, which can support the situation where there is only one reference attribute data group.
  • the corresponding crossAttrTypePred ie, mode flag field
  • you can introduce attrIdx_pred ie, the reference group identifier ) to determine a reference attribute data group.
  • the information indication method shown in the fourth embodiment can cover existing information indication methods (for example, there are only two attribute data groups by default, or there is only one reference attribute data group by default), and the embodiments of this application The method provided provides a clearer indication between groups of attribute data.
  • the server can specify the predicted reference relationship between multiple attribute data groups through reference group identifiers, reference group identifier lists, attribute encoding and decoding order fields, mode flag fields, or defaults, so that corresponding attributes can be realized Prediction between data groups and other operations.
  • embodiments of this application also support the identification and differentiation of some common attribute parameters, as follows:
  • the attribute header information associated with point cloud data contains universal attribute parameters.
  • the server can add a group identifier to identify the common attribute parameters associated with the target attribute data group.
  • the common attribute parameters here may include a length control parameter (such as coeffLengthControl), and the length control parameter may be used to represent the length of the zero run.
  • a length control parameter such as coeffLengthControl
  • coeffLengthControl you can use coeffLengthControl[attrIdx] instruction, and coeffLengthControl[attrIdx] does not depend on the wavelet transform judgment condition (for example, if (transform[attrIdx]>0) in Table 1 above), also That is to say, the length control parameter coeffLengthControl[attrIdx] can still be used when transform[attrIdx] is greater than or equal to 0.
  • the common attribute parameters here can also include parameters such as outputBitDepthMinus1, maxNumOfNeighboursLog2Minus7, etc.
  • general attribute parameters such as transform and coeffLengthControl may not need to be identified by a group identifier. In this case, all attribute data groups may share the same general attribute parameters.
  • the server can add a group identifier pair with the target attribute.
  • Common attribute parameters associated with the data group are identified.
  • the general attribute parameters here may include general attribute encoding sorting parameters and universal attribute encoding index Golomb order. For example, see Table 1 above, for the general attribute encoding sorting parameter reorderMode, you can use the reorderMode[attrIdx] instruction; similarly, for the general attribute encoding index Golomb order golombNum, you can use the golombNum[attrIdx] instruction. For another example, see Table 2 above.
  • reorderMode For the general attribute encoding sorting parameter reorderMode, you can use reorderMode[attrIdx][i] to indicate it; similarly, for the general attribute encoding index Golomb order golombNum, you can use golombNum[attrIdx][i] to indicate it. .
  • the general attribute parameters here can include the color attribute encoding sorting parameter corresponding to the color attribute and the color attribute encoding index Columbus order corresponding to the color attribute, as well as the reflectivity attribute encoding sorting parameter corresponding to the reflectance attribute and the reflectance attribute corresponding to the reflectance attribute.
  • Encoded exponential Golomb order For example, see Table 1 above.
  • refReorderMode For the reflectivity attribute encoding sorting parameter refReorderMode, you can use refReorderMode[attrIdx] instruction; for the reflectance attribute encoding
  • the general attribute parameter when the general attribute parameter is related to the attribute type, and there is an attribute type related to the general attribute parameter, and the same attribute type corresponds to the same general attribute parameter, the general attribute parameter does not need to be identified, that is, the same Property data groups of property types share a common set of property parameters.
  • the common attribute parameters here may include the color attribute encoding sorting parameter (for example, colorReorderMode) corresponding to the color attribute, the color attribute encoding index Golomb order (for example, colorGolombNum) corresponding to the color attribute, and the reflectance attribute encoding sorting corresponding to the reflectance attribute.
  • the parameter (e.g., refReorderMode) and the reflectance attribute corresponding to the reflectance attribute encode the exponential Golomb order (e.g., refGolombNum).
  • the parameter set associated with the point cloud data contains general parameters (which can include geometric parameters and attribute parameters).
  • the expression form of these general parameters can be in the original form or the power exponential form.
  • the power exponential form here can include the first power. Exponential form and second power exponential form.
  • L1 the value of the length control parameter with the first power exponential form
  • the server can encapsulate the point cloud code stream into an immersive media media file.
  • the server can flexibly convert the point cloud code stream into a point cloud code stream based on the high-level syntax information in the point cloud code stream.
  • the cloud code stream is encapsulated into one or more file tracks, and the file track can be divided into one or more subsamples.
  • the server can transmit the resulting media files (eg, point cloud files) to the client.
  • attribute data groups can be distinguished by specified identifiers (such as the group identifier corresponding to the target attribute data group), and the predicted reference relationship between each attribute data group can be further specified, so that it is possible to Quickly determine the reference attribute data group to be referenced when encoding attributes in the corresponding one or more attribute data groups to be referenced to achieve attribute prediction between multiple attribute data groups, which can ultimately improve the coding efficiency of multi-attribute point cloud data.
  • the embodiments of the present application can also clarify the meaning of multi-attribute parameters (such as general attribute parameters) through corresponding data group identifiers, thereby realizing the representation of multi-type and multi-group attribute parameters.
  • the geometric data and various types of attribute data in the point cloud code stream can be more flexibly organized in units of point cloud slices, thereby supporting more flexible file encapsulation and transmission methods and more diverse Point cloud application form.
  • FIG. 5 is a schematic flowchart of an immersive media data processing method provided by an embodiment of the present application.
  • This method can be performed by a content consumption device in the immersive media system (for example, the content consumption device 100B in the embodiment corresponding to Figure 3 above).
  • the content consumption device can be an integrated client (such as a video client). terminal.
  • the method may include at least the following S201-S202:
  • the client can decapsulate the media files (such as point cloud files) sent by the server to obtain a point cloud code stream containing at least two attribute data groups, and then decode the point cloud code stream. After decoding During the process, the attribute data group it contains needs to be decoded.
  • the target attribute data group is the currently decoded attribute data group, and the client can obtain the attribute prediction relationship model corresponding to the target attribute data group.
  • the target attribute data group is an attribute data group to be decoded among at least two attribute data groups, and the at least two attribute data groups include one or more attribute data groups to be referenced that satisfy an attribute prediction relationship pattern with the target attribute data group.
  • attribute prediction relationship modes may include, but are not limited to, inter-attribute prediction modes and default attribute prediction modes, where inter-attribute prediction modes may include, but are not limited to, cross-attribute prediction modes, same-attribute prediction modes, and general attribute prediction modes.
  • mode the default attribute prediction mode is the attribute prediction mode enabled by default on the client and server.
  • the client can decode the parameter set (such as the sequence parameter set or the attribute parameter set) associated with the point cloud code stream, thereby obtaining the attribute prediction relationship pattern corresponding to the target attribute data group. For example, when a mode flag field (including but not limited to a first mode flag field, a second mode flag field, and a third mode flag field) is added to the parameter set, the corresponding attribute prediction relationship mode can be determined by parsing the mode flag field.
  • a mode flag field including but not limited to a first mode flag field, a second mode flag field, and a third mode flag field
  • the client can obtain the prediction status of the target attribute data group for one or more attribute data groups to be referenced;
  • the client can determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced. Specifically, The process can be seen in S202 below.
  • the reference attribute data group here is used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group.
  • the specific process for the client to obtain the attribute prediction relationship mode corresponding to the target attribute data group can be: if a carrying group identifier is added to the parameter set associated with the point cloud code stream
  • the first mode flag field of the symbol indicates that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a cross-attribute prediction mode; wherein at least two attribute data groups include and the target attribute data group satisfy the cross-attribute prediction mode.
  • One or more attribute data groups to be referenced in the prediction mode, and the attribute types corresponding to the one or more attribute data groups to be referenced are different from the attribute types corresponding to the target attribute data group.
  • the field value of the first mode flag field when the field value of the first mode flag field is the first flag value, it means that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state; when the field value of the first mode flag field When it is the second flag value, it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction closed state.
  • the specific process for the client to obtain the attribute prediction relationship mode corresponding to the target attribute data group can be: if a carrying group identifier is added to the parameter set associated with the point cloud code stream The second mode flag field of the symbol indicates that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is the same attribute prediction mode; wherein at least two attribute data groups include the same attribute as the target attribute data group.
  • One or more attribute data groups to be referenced in the prediction mode, and the attribute types corresponding to the one or more attribute data groups to be referenced are the same as the attribute types corresponding to the target attribute data group.
  • the field value of the second mode flag field when the field value of the second mode flag field is the third flag value, it means that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state; when the field value of the second mode flag field When it is the fourth flag value, it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction off state.
  • the specific process for the client to obtain the attribute prediction relationship mode corresponding to the target attribute data group can be: if a carrying group identifier is added to the parameter set associated with the point cloud code stream
  • the third mode flag field of the symbol indicates that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a universal attribute prediction mode; wherein at least two attribute data groups include and satisfy the common attribute between the target attribute data group and the target attribute data group.
  • One or more attribute data groups to be referenced in the prediction mode, and the attribute types corresponding to the one or more attribute data groups to be referenced are the same as or different from the attribute types corresponding to the target attribute data group.
  • the field value of the third mode flag field when the field value of the third mode flag field is the fifth flag value, it means that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state; when the field value of the third mode flag field When it is the sixth flag value, it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction off state.
  • the specific process for the client to obtain the attribute prediction relationship mode corresponding to the target attribute data group can be: if a carrying group identifier is added to the parameter set associated with the point cloud code stream The first mode flag field and the second mode flag field of the identifier indicate that the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a universal attribute prediction mode.
  • at least two attribute data groups include one or more attribute data groups to be referenced that satisfy a common attribute prediction mode with the target attribute data group.
  • the field value of the first mode flag field is the first flag value and the field value of the second mode flag field is the third flag value, it indicates that the target attribute data group is for one or more attribute data groups to be referenced.
  • the prediction status is prediction on, and the attribute types corresponding to one or more attribute data groups to be referenced are the same or different from the attribute types corresponding to the target attribute data group;
  • the field value of the first mode flag field is the second flag value
  • the field value of the second mode flag field is the third flag value
  • the target attribute data group is for one or more attribute data groups to be referenced.
  • the prediction status is prediction on, and the attribute type corresponding to one or more attribute data groups to be referenced is the same as the attribute type corresponding to the target attribute data group;
  • the field value of the first mode flag field is the first flag value and the field value of the second mode flag field is the fourth flag value, it indicates that the target attribute data group is for one or more attribute data groups to be referenced.
  • the prediction status is prediction on, and the attribute types corresponding to one or more attribute data groups to be referenced are different from the attribute types corresponding to the target attribute data group;
  • the field value of the first mode flag field is the second flag value
  • the field value of the second mode flag field is the fourth flag value
  • the prediction status is the prediction off state, and the attribute types corresponding to one or more attribute data groups to be referenced are the same as or different from the attribute types corresponding to the target attribute data group.
  • the client can further determine the reference attribute data group required to decode the target attribute data group.
  • the target attribute data group is for one or more
  • the prediction status of the attribute data group to be referenced is the prediction on state, or when the attribute prediction relationship mode corresponding to the target attribute data group is the default attribute prediction mode
  • the client can select the corresponding attribute data group or attribute data groups to be referenced. Determine the reference attribute data group corresponding to the target attribute data group.
  • the reference attribute data group here can be used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group. This is not limited in the embodiment of the present application.
  • the embodiments of this application can provide a variety of feasible implementation methods to determine the reference attribute data group corresponding to the target attribute data group and decode the target attribute data group.
  • the client can parse the reference group set by the server in the relevant parameter set. Identifier, reference group identifier list, attribute encoding and decoding order field or mode flag field and other parameters to determine the reference attribute data group corresponding to the target attribute data group; or, use the default reference attribute data group common with the server to achieve correspondence Prediction between attribute data groups and other operations.
  • the client can add the reference group identifier to one or more attribute data groups to be referenced.
  • the attribute data group to be referenced is used as the reference attribute data group corresponding to the target attribute data group.
  • the reference group identifier here can carry the group identifier or be added without the group identifier.
  • the client can obtain the attribute prediction parameter group corresponding to the target attribute data group, and based on the attribute prediction parameter group and the reference attribute data indicated by the reference group identifier Group, decode the target attribute data group.
  • the specific process can be as follows:
  • the client can obtain the attributes corresponding to the target attribute data group set by the server.
  • Prediction parameter group the attribute prediction parameter group may include a first attribute prediction weight parameter and a second attribute prediction weight parameter; further, the target attribute data may be calculated based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group. group to decode.
  • the client may first obtain the attribute prediction parameter group corresponding to the target attribute data group set by the server, where the attribute prediction parameter group may include a first attribute prediction weight parameter and a second attribute prediction weight parameter. Further, if the target attribute data group relies on the attribute prediction parameter group for decoding, and the value of the group identifier is greater than the value of the reference group identifier, the client can predict the weight parameter based on the first attribute and the second attribute prediction weight parameter. and the reference attribute data group to decode the target attribute data group.
  • the client can directly decode the target attribute data group.
  • the group identifier may include the target attribute type index and the target data group index corresponding to the target attribute data group
  • the reference group identifier may include the reference attribute type index and the reference data group corresponding to the reference attribute data group. index.
  • the client can obtain the attribute prediction parameter group corresponding to the target attribute data group set by the server.
  • the attribute prediction parameter group may include the first attribute prediction weight parameter and the second attribute prediction weight parameter.
  • the client may decode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group.
  • the client can obtain the attribute prediction parameter group corresponding to the target attribute data group set by the server.
  • the attribute prediction parameter group here can include the first attribute prediction weight parameter and The second attribute prediction weight parameter. Further, the client may decode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group.
  • the client can add the reference group identifier to one or more attribute data groups to be referenced.
  • the to-be-referenced attribute data group containing the reference group identifier contained in the character list is used as the reference attribute data group corresponding to the target attribute data group.
  • the reference group identifier list here may carry the group identifier or not.
  • the client can obtain the attribute prediction parameter group associated with each reference attribute data group set by the server, and based on the set attribute prediction parameter group and The target attribute data group is decoded with reference to the attribute data group.
  • one or more reference attribute data groups corresponding to the reference group identifier list are attribute data groups decoded before the target attribute data group, and the attribute type corresponding to each reference attribute data group is the same as the attribute corresponding to the target attribute data group.
  • the types are the same or different; alternatively, each reference attribute data group is an attribute data group decoded before the target attribute data group and has a specific attribute type; or each reference attribute data group is a decoded attribute data group with a specific attribute type attribute data group.
  • attribute prediction parameter group associated with each reference attribute data group can be set independently, or the attribute prediction parameter group associated with the reference attribute data group with the same attribute type is shared, or each reference attribute data group Group-associated attribute prediction parameter groups are common.
  • the client can determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced based on the attribute encoding and decoding order field.
  • the attribute encoding and decoding order field carrying the group identifier can be used to indicate the encoding and decoding order for the attribute type used by the target attribute data group; the attribute encoding and decoding order field not carrying the group identifier can be used to indicate at least two attribute data groups.
  • the field value of the above-mentioned attribute encoding and decoding order field may be an index value corresponding to the encoding and decoding order in the attribute type encoding and decoding sequence table associated with at least two attribute data groups.
  • Each attribute type in the attribute type encoding and decoding sequence table The encoding and decoding order is the encoding and decoding order corresponding to the N attribute types, or the attribute encoding and decoding order field can be used to describe the specified encoding and decoding order corresponding to the N attribute types.
  • the client determines the reference attribute based on the attribute encoding and decoding order field.
  • the data group process can be:
  • the client can use the N2th attribute type before the attribute type corresponding to the target attribute data group as the first predicted attribute type according to the encoding and decoding order corresponding to the N attribute types indicated by the attribute encoding and decoding order field, or , the N2 attribute types located before the attribute type corresponding to the target attribute data group can be used as the first predicted attribute types.
  • N2 is a positive integer less than N1.
  • the reference attribute data group corresponding to the target attribute data group can be determined among the attribute data groups to be referenced with previously predicted attribute types contained in one or more attribute data groups to be referenced.
  • the reference attribute data group here can be the server and By default, the client has an attribute data group to be referenced that predicts the attribute type first.
  • the client can use the encoding and decoding order of the attribute type indicated by the attribute encoding and decoding order field,
  • the attribute type located before the attribute type corresponding to the target attribute data group is used as the first predicted attribute type, and then the group identifier added by the server in the attribute header information associated with the point cloud code stream according to the first predicted attribute type can be obtained.
  • Reference group identifier wherein the attribute type corresponding to the attribute data group indicated by the reference group identifier belongs to the first-predicted attribute type. Further, the attribute data group to be referenced with the reference group identifier can be used as the reference attribute data group corresponding to the target attribute data group.
  • the client or the server can also set the default attribute data group as the reference attribute data group corresponding to the target attribute data group, where the default attribute data group can be the first attribute of a specific attribute type.
  • the data group or all attribute data groups of a specific attribute type, or the previous attribute data group of the target attribute data group, or the first attribute data group of at least two attribute data groups, is not limited in this embodiment of the present application.
  • the parameter set associated with the point cloud code stream contains a mode flag field
  • the number of attribute data groups is 2
  • the number of attribute data groups to be referenced is 1.
  • the field value of the mode flag field corresponding to the target attribute data group and the field value of the mode flag field corresponding to the attribute data group to be referenced are both set to the enable flag value, and the encoding and decoding order of the target attribute data group is later than that of the attribute data group to be referenced.
  • the client can use the attribute data group to be referenced as the reference attribute data group corresponding to the target attribute data group; or, if the field value of the mode flag field corresponding to the target attribute data group is set to the enable flag value, and the attribute data group to be referenced corresponds to If the field value of the mode flag field is set to the deactivation flag value, the client can use the attribute data group to be referenced as the reference attribute data group corresponding to the target attribute data group.
  • the number of reference attribute data groups corresponding to the target attribute data group is 1; the parameter set associated with the point cloud code stream contains a mode flag field; the number of attribute data groups to be referenced is M, M is a positive integer greater than or equal to 2.
  • the client can obtain the reference group identifier added by the server in the parameter set, and then use the attribute data group to be referenced with the reference group identifier among the M attribute data groups to be referenced as the reference attribute corresponding to the target attribute data group.
  • the encoding and decoding order of the reference attribute data group precedes the target attribute data group.
  • the client can obtain The reference group identifier added by the server in the parameter set, and then the to-be-referenced attribute data group with the reference group identifier among the M to-be-referenced attribute data groups can be used as the reference attribute data group corresponding to the target attribute data group.
  • the reference attribute The encoding and decoding sequence of the data group precedes the target attribute data group.
  • attribute header information associated with the point cloud code stream contains general attribute parameters.
  • the embodiments of the present application can also distinguish these general attribute parameters, as follows:
  • the group identifier can be used to identify the general attribute parameter associated with the target attribute data group.
  • the general attribute parameters here may include a length control parameter, which is used to control the length of the zero run.
  • the group identifier can be used to associate the target attribute data group with
  • the common attribute parameters here can include the universal attribute encoding sorting parameter and the universal attribute encoding index Columbus order.
  • the group identifier can be used to identify the general attribute parameters associated with the target attribute data group.
  • the general attribute parameters here can include the color attribute encoding sorting parameter corresponding to the color attribute and the color attribute encoding index Columbus order corresponding to the color attribute.
  • the reflectivity attribute encoding sorting parameter corresponding to the reflectivity attribute and the reflectivity attribute encoding index Columbus order corresponding to the reflectivity attribute can include the color attribute encoding sorting parameter corresponding to the reflectivity attribute and the reflectivity attribute encoding index Columbus order corresponding to the reflectivity attribute.
  • the general attribute parameter when the general attribute parameter is related to the attribute type, and there is an attribute type related to the general attribute parameter, and the same attribute type corresponds to the same general attribute parameter, the general attribute parameter may not carry a group identifier for identification.
  • the general attribute parameters here can include the color attribute encoding sorting parameter corresponding to the color attribute and the color attribute encoding index Columbus order corresponding to the color attribute, as well as the reflectivity attribute encoding sorting parameter corresponding to the reflectance attribute and the reflectance attribute corresponding to the reflectance attribute. Encoded exponential Golomb order.
  • the attribute header information associated with the point cloud code stream can contain common parameters.
  • the expression form of the general parameter can be a primitive form or a power exponential form, where the power exponential form can include a first power exponential form and a second power exponential form.
  • the general parameter when the general parameter is expressed in the original form, the value of the general parameter in the original form is L, and L is a positive integer; when the general parameter is expressed in the first power exponential form, the general parameter has the first power exponential form.
  • attribute data groups can be distinguished by specified identifiers (such as the group identifier corresponding to the target attribute data group), and the predicted reference relationship between each attribute data group can be further specified, so that it is possible to Quickly determine the reference attribute data group to be referenced during attribute decoding in the corresponding one or more attribute data groups to be referenced to achieve attribute prediction between multiple attribute data groups, which can ultimately improve the decoding of multi-attribute point cloud code streams. efficiency.
  • the client when the client decapsulates and decodes point cloud files, it can perform partial transmission or partial decoding according to the file encapsulation structure and the requirements for different point cloud components, so as to maximize bandwidth and computing resource savings.
  • FIG. 6 is a schematic structural diagram of an immersive media data processing device provided by an embodiment of the present application.
  • the data processing device for immersive media can be a computer program (including program code) running on content production equipment.
  • the data processing device for immersive media is an application software in content production equipment; the device can be used to execute the present application.
  • the embodiment provides corresponding steps in the data processing method for immersive media.
  • the immersive media data processing device 1 may include: a mode determination module 101, a reference determination module 102, a first encoding module 103, a second encoding module 104, a third encoding module 105, and a fourth encoding module 106. , status acquisition module 107, default prediction module 108, first parameter identification module 109, second parameter identification module 110, third parameter identification module 111, parameter non-identification module 112;
  • the pattern determination module 101 is configured to determine the attribute prediction relationship pattern corresponding to the target attribute data group according to the group identifier of the target attribute data group when encoding point cloud data containing at least two attribute data groups;
  • the target attribute data group is An attribute data group with a group identifier in at least two attribute data groups, and the at least two attribute data groups include one or more attribute data groups to be referenced that satisfy an attribute prediction relationship pattern with the target attribute data group;
  • the inter-attribute prediction mode includes a cross-attribute prediction mode
  • the mode determination module 101 is specifically configured to add a first mode flag field carrying a group identifier to the parameter set associated with the point cloud data; the first mode flag field is used to represent the attribute prediction corresponding to the target attribute data group with the group identifier.
  • the relationship mode is a cross-attribute prediction mode; at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the cross-attribute prediction mode between the target attribute data groups, and attributes corresponding to one or more attribute data groups to be referenced.
  • the type is different from the attribute type corresponding to the target attribute data group; when the field value of the first mode flag field is the first flag value, it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is prediction on. Status; when the field value of the first mode flag field is the second flag value, it indicates that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction closed state.
  • the inter-attribute prediction mode includes a same-attribute prediction mode
  • the mode determination module 101 is specifically configured to add a second mode flag field carrying a group identifier to the parameter set associated with the point cloud data; the second mode flag field is used to represent the attribute prediction corresponding to the target attribute data group with the group identifier.
  • the relationship mode is a same attribute prediction mode; at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the same attribute prediction mode as the target attribute data group, and attributes corresponding to one or more attribute data groups to be referenced.
  • the type is the same as the attribute type corresponding to the target attribute data group; when the field value of the second mode flag field is the third flag value, it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state ; When the field value of the second mode flag field is the fourth flag value, it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction closed state.
  • the inter-attribute prediction mode includes a general attribute prediction mode
  • the mode determination module 101 is specifically configured to add a third mode flag field carrying a group identifier to the parameter set associated with the point cloud data; the third mode flag field is used to represent the attribute prediction corresponding to the target attribute data group with the group identifier.
  • the relationship mode is a universal attribute prediction mode; at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the common attribute prediction mode between the target attribute data groups, and attributes corresponding to one or more attribute data groups to be referenced.
  • the type is the same as or different from the attribute type corresponding to the target attribute data group; when the field value of the third mode flag field is the fifth flag value, it means that the prediction status of the target attribute data group for one or more attribute data groups to be referenced is Prediction on state; when the field value of the third mode flag field is the sixth flag value, it indicates that the prediction state of the target attribute data group for one or more attribute data groups to be referenced is the prediction off state.
  • the inter-attribute prediction mode includes a general attribute prediction mode
  • the mode determination module 101 is specifically configured to add a first mode flag field and a second mode flag field carrying a group identifier to the parameter set associated with the point cloud data; the first mode flag field and the second mode flag field are jointly used to represent
  • the attribute prediction relationship mode corresponding to the target attribute data group with the group identifier is a universal attribute prediction mode; at least two attribute data groups include one or more to-be-referenced attribute data groups that satisfy the universal attribute prediction mode between the target attribute data group and the target attribute data group. ;
  • the field value of the first mode flag field is the first flag value
  • the field value of the second mode flag field is the third flag value
  • the field value of the first mode flag field is the second flag value
  • the field value of the second mode flag field is the third flag value
  • the field value of the first mode flag field is the first flag value
  • the field value of the second mode flag field is the fourth flag value
  • the field value of the first mode flag field is the second flag value
  • the field value of the second mode flag field is the fourth flag value
  • the prediction status of the target attribute data group for one or more attribute data groups to be referenced is The prediction is in a closed state, and the attribute types corresponding to one or more attribute data groups to be referenced are the same as or different from the attribute types corresponding to the target attribute data group.
  • the reference determination module 102 is configured to determine the reference corresponding to the target attribute data group in the one or more attribute data groups to be referenced when the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state. Attribute data group; the reference attribute data group is used to participate in the encoding of the target attribute data group or not to participate in the encoding of the target attribute data group;
  • the default attribute data group is the first attribute data group of a specific attribute type or a specific attribute type. All attribute data groups of the target attribute data group, or the previous attribute data group of the target attribute data group, or the first attribute data group of at least two attribute data groups;
  • the reference determination module 102 is specifically configured to, if a reference group identifier is added to the attribute header information associated with the point cloud data, add the reference group identifier to one or more attribute data groups to be referenced.
  • the attribute data group of the symbol is used as the reference attribute data group corresponding to the target attribute data group; the reference group identifier carries the group identifier or does not carry the group identifier;
  • the parameter set associated with the point cloud data contains a mode flag field; the number of attribute data groups is 2, and the number of attribute data groups to be referenced is 1;
  • the reference determination module 102 is specifically used if the field value of the mode flag field corresponding to the target attribute data group and the field value of the mode flag field corresponding to the attribute data group to be referenced are both set to the enable flag value, and the encoding and decoding order of the target attribute data group later than the attribute data group to be referenced, the attribute data group to be referenced is used as the reference attribute data group corresponding to the target attribute data group; or, if the field value of the mode flag field corresponding to the target attribute data group is set to the enable flag value, and the attribute data group to be referenced is If the field value of the mode flag field corresponding to the reference attribute data group is set to the deactivation flag value, the attribute data group to be referenced will be used as the reference attribute data group corresponding to the target attribute data group.
  • the number of reference attribute data groups corresponding to the target attribute data group is 1; the parameter set associated with the point cloud data contains a mode flag field; the number of attribute data groups to be referenced is M, and M is greater than Or a positive integer equal to 2;
  • the reference determination module 102 is specifically configured to add a reference group in the parameter set if the field value of the mode flag field corresponding to the target attribute data group and the field value of the mode flag field corresponding to the M attribute data groups to be referenced are both set to the enable flag value.
  • the to-be-referenced attribute data group with the reference group identifier among the M to-be-referenced attribute data groups is used as the reference attribute data group corresponding to the target attribute data group; the encoding and decoding order of the reference attribute data group precedes the target attribute data group; Or, if the field value of the mode flag field corresponding to the target attribute data group is set to the enable flag value, and the field values of the mode flag fields corresponding to the M attribute data groups to be referenced are all set to the disable flag value, then add it to the parameter set Reference group identifier, the to-be-referenced attribute data group with the reference group identifier among the M to-be-referenced attribute data groups is used as the reference attribute data group corresponding to the target attribute data group; the encoding and decoding order of the reference attribute data group precedes the target attribute data Group.
  • the reference determination module 102 is specifically configured to add a reference group identifier list to one or more attribute data groups to be referenced if a reference group identifier list is added to the attribute header information associated with the point cloud data.
  • the to-be-referenced attribute data group of the reference group identifier contained in the identifier list is used as the reference attribute data group corresponding to the target attribute data group; the reference group identifier list carries the group identifier or does not carry the group identifier.
  • the reference determination module 102 may include: a sequence field adding unit 1021 and a reference attribute determination unit 1022;
  • Sequence field adding unit 1021 configured to add an attribute encoding and decoding sequence field that carries a group identifier or add an attribute encoding and decoding sequence field that does not carry a group identifier in the attribute header information associated with the point cloud data;
  • the attribute encoding and decoding order field is used to indicate the encoding and decoding order for attribute types used by the target attribute data group;
  • the attribute encoding and decoding order field that does not carry a group identifier is used to indicate the encoding and decoding order for attribute types used by at least two attribute data groups.
  • the reference attribute determination unit 1022 is configured to determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced based on the attribute encoding and decoding order field.
  • the total number of attribute types corresponding to at least two attribute data groups is N, and N is a positive integer; the field value of the attribute codec order field is the attribute type codec associated with the at least two attribute data groups.
  • the encoding and decoding sequence of each attribute type in the attribute type encoding and decoding sequence table is the encoding and decoding sequence corresponding to N attribute types, or the attribute encoding and decoding sequence field is used to describe Specified encoding and decoding order corresponding to N attribute types.
  • the attribute type corresponding to the target attribute data group is sorted in the encoding and decoding order corresponding to the N attribute types as N1, and N1 is a positive integer less than or equal to N;
  • the reference attribute determination unit 1022 is specifically configured to use the N2th attribute type located before the attribute type corresponding to the target attribute data group as the first predicted attribute type according to the encoding and decoding order corresponding to the N attribute types indicated by the attribute encoding and decoding order field. Or, use the N2 attribute types before the attribute type corresponding to the target attribute data group as the first predicted attribute type; N2 is a positive integer less than N1; the first predicted attribute type included in one or more attribute data groups to be referenced The reference attribute data group corresponding to the target attribute data group is determined in the attribute data group to be referenced; the reference attribute data group is the default attribute data group to be referenced by the server and the client and has a pre-predicted attribute type.
  • the reference attribute determination unit 1022 is specifically configured to use the attribute type located before the attribute type corresponding to the target attribute data group as the first predicted attribute type according to the encoding and decoding order of the attribute types indicated by the attribute encoding and decoding order field. ;Add the reference group identifier carrying the group identifier in the attribute header information associated with the point cloud data according to the first-predicted attribute type; the attribute type corresponding to the attribute data group indicated by the reference group identifier belongs to the first-predicted attribute type; The attribute data group to be referenced with the reference group identifier is used as the reference attribute data group corresponding to the target attribute data group.
  • sequence field adding unit 1021 and the reference attribute determining unit 1022 please refer to S102 in the embodiment corresponding to Figure 4 above, and will not be described again here.
  • the first encoding module 103 is configured to encode the target attribute data group based on the attribute prediction parameter group and the reference attribute data group indicated by the reference group identifier when the target attribute data group relies on the attribute prediction parameter group for encoding;
  • the first encoding module 103 may include: a first parameter setting unit 1031, a first encoding unit 1032, a second parameter setting unit 1033, a second encoding unit 1034, a third parameter setting unit 1035, a third encoding unit 1036, Four parameter setting unit 1037, fourth encoding unit 1038;
  • the first parameter setting unit 1031 is used to set the attribute prediction parameters corresponding to the target attribute data group if the target attribute data group is encoded relying on the attribute prediction parameter group, and the value of the group identifier is greater than the value of the reference group identifier.
  • the attribute prediction parameter group includes the first attribute prediction weight parameter and the second attribute prediction weight parameter;
  • the first encoding unit 1032 is used to encode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group;
  • the second parameter setting unit 1033 is used to set an attribute prediction parameter group corresponding to the target attribute data group;
  • the attribute prediction parameter group includes a first attribute prediction weight parameter and a second attribute prediction weight parameter;
  • the second encoding unit 1034 is used to predict the weight parameter and the second attribute based on the first attribute if the target attribute data group relies on the attribute prediction parameter group for decoding, and the value of the group identifier is greater than the value of the reference group identifier.
  • the prediction weight parameters and the reference attribute data group encode the target attribute data group;
  • the group identifier includes a target attribute type index and a target data group index corresponding to the target attribute data group
  • the reference group identifier includes a reference attribute type index and a reference data group index corresponding to the reference attribute data group
  • the third parameter setting unit 1035 is used for encoding when the target attribute data group relies on the attribute prediction parameter group and the value of the reference attribute type index is the same as the value of the target attribute type index. If the value of the target data group index is greater than the value of the reference data group index, then set the attribute prediction parameter group corresponding to the target attribute data group; the attribute prediction parameter group includes the first attribute prediction weight parameter and the second attribute prediction weight parameter;
  • the third encoding unit 1036 is used to encode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group;
  • the fourth parameter setting unit 1037 is used for encoding when the target attribute data group depends on the attribute prediction parameter group, and the value of the reference attribute type index is different from the value of the target attribute type index, and the value indicated by the reference attribute type index is When the encoding and decoding order of the attribute type precedes the attribute type indicated by the target attribute type index, set the attribute prediction parameter group corresponding to the target attribute data group; the attribute prediction parameter group includes the first attribute prediction weight parameter and the second attribute prediction weight parameter;
  • the fourth encoding unit 1038 is used to encode the target attribute data group based on the first attribute prediction weight parameter, the second attribute prediction weight parameter and the reference attribute data group.
  • S102 in the embodiment corresponding to Figure 4, and will not be described again here.
  • the second encoding module 104 is used to encode the target attribute data group when the target attribute data group does not depend on the attribute prediction parameter group for encoding;
  • the third encoding module 105 is used to encode the target attribute data group if the value of the group identifier is less than or equal to the value of the reference group identifier;
  • the fourth encoding module 106 is used to set the attribute prediction parameter group associated with each reference attribute data group when the target attribute data group is encoded depending on the attribute prediction parameter group, based on the set attribute prediction parameter group and the reference attribute data.
  • the group encodes the target attribute data group;
  • the reference attribute data groups are all attribute data groups that are coded before the target attribute data group, and the attribute type corresponding to each reference attribute data group is the same as or different from the attribute type corresponding to the target attribute data group;
  • the reference attribute data groups are all attribute data groups that are coded before the target attribute data group and have a specific attribute type; or, the reference attribute data groups are all coded attribute data groups with a specific attribute type;
  • the attribute prediction parameter group associated with each reference attribute data group is set independently, or the attribute prediction parameter group associated with the reference attribute data group with the same attribute type is shared, or each The attribute prediction parameter group associated with each reference attribute data group is shared.
  • the status acquisition module 107 is configured to obtain the prediction status of the target attribute data group for one or more attribute data groups to be referenced if the attribute prediction relationship mode is an inter-attribute prediction mode;
  • the default prediction module 108 is used to determine the reference attribute data group corresponding to the target attribute data group in one or more attribute data groups to be referenced if the attribute prediction relationship mode is the default attribute prediction mode; the reference attribute data group is used to participate in the comparison The decoding of the target attribute data group or does not participate in the decoding of the target attribute data group;
  • the attribute header information associated with the point cloud data contains universal attribute parameters; the universal attribute parameters do not depend on the attribute type judgment conditions;
  • the first parameter identification module 109 is used to add a group identifier to identify the general attribute parameters associated with the target attribute data group when the general attribute parameters have nothing to do with the attribute type;
  • the general attribute parameters include a length control parameter, and the length control parameter is Yu represents the length of the zero run;
  • the second parameter identification module 110 is configured to add a group identifier pair and a target when the general attribute parameter is related to the attribute type, and there is an attribute type related to the general attribute parameter, and the attribute type is not identified in the field of the general attribute parameter.
  • the universal attribute parameters associated with the attribute data group are identified; the universal attribute parameters include universal attribute encoding sorting parameters and universal attribute encoding index Columbus order.
  • the attribute header information associated with the point cloud data contains general attribute parameters; the general attribute parameters depend on the attribute type judgment conditions:
  • the third parameter identification module 111 is used to add a group identifier pair to the target attribute when the general attribute parameter is related to the attribute type, and there is an attribute type related to the general attribute parameter, and the attribute type is identified in the field of the general attribute parameter.
  • the general attribute parameters associated with the data group are identified; the general attribute parameters include the color attribute coding sorting parameter corresponding to the color attribute and the color attribute coding index Columbus order corresponding to the color attribute, as well as the reflectivity attribute coding sorting parameter corresponding to the reflectance attribute and The reflectivity attribute corresponding to the reflectivity attribute encodes the exponential Golomb order.
  • the parameter non-identification module 112 is used to not identify the general attribute parameters when the general attribute parameters are related to the attribute type, and there is an attribute type related to the general attribute parameters, and the same attribute type corresponds to the same general attribute parameter; the general attribute
  • the parameters include the color attribute coding sorting parameter corresponding to the color attribute and the color attribute coding index Columbus order corresponding to the color attribute, as well as the reflectance attribute coding sorting parameter corresponding to the reflectance attribute and the reflectance attribute coding index Columbus order corresponding to the reflectance attribute. .
  • the parameter set associated with the point cloud data contains universal parameters;
  • the representation form of the universal parameters is a primitive form or a power exponential form;
  • the power exponential form includes a first power exponential form and a second power exponential form;
  • the value of the general parameter in the original form is L, and L is a positive integer;
  • L1 is a non-negative integer less than L;
  • the mode determination module 101 the reference determination module 102, the first encoding module 103, the second encoding module 104, the third encoding module 105, the fourth encoding module 106, the state acquisition module 107, the default prediction module 108, the first parameter identification
  • the module 109, the second parameter identification module 110, the third parameter identification module 111, and the parameter non-identification module 112 please refer to S101-S102 in the embodiment corresponding to Figure 4, and will not be described again here.
  • the description of the beneficial effects of using the same method will not be described again.
  • FIG. 7 is a schematic structural diagram of an immersive media data processing device provided by an embodiment of the present application.
  • the data processing device for immersive media may be a computer program (including program code) running on the content consumption device.
  • the data processing device for immersive media is an application software (for example, a video client) in the content consumption device; the The device may be used to perform corresponding steps in the immersive media data processing method provided by embodiments of the present application.
  • the immersive media data processing device 2 may include: a mode acquisition module 21 and a reference determination module 22;
  • the pattern acquisition module 21 is configured to obtain the attribute prediction relationship pattern corresponding to the target attribute data group according to the group identifier of the target attribute data group when decoding the point cloud code stream containing at least two attribute data groups; the target attribute data group It is an attribute data group with a group identifier among the at least two attribute data groups; the at least two attribute data groups include one or more attribute data groups to be referenced that satisfy the attribute prediction relationship pattern with the target attribute data group;
  • the reference determination module 22 is used to determine the reference corresponding to the target attribute data group in the one or more attribute data groups to be referenced when the prediction status of the target attribute data group for one or more attribute data groups to be referenced is the prediction on state. Attribute data group; the reference attribute data group is used to participate in the decoding of the target attribute data group or not to participate in the decoding of the target attribute data group.
  • the computer device 1000 may include a processor 1001 , a network interface 1004 and a memory 1005 .
  • the computer device 1000 may further include a user interface 1003 and at least one communication bus 1002 .
  • the communication bus 1002 is used to realize connection communication between these components.
  • the user interface 1003 may include a display screen (Display) and a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface or a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory or a non-volatile memory, such as at least one disk memory.
  • the memory 1005 may optionally be at least one storage device located remotely from the aforementioned processor 1001.
  • memory 1005, which is a computer-readable storage medium may include an operating system, a network communication module, a user interface module, and a device control application program.
  • the network interface 1004 can provide network communication functions; the user interface 1003 is mainly used to provide an input interface for the user; and the processor 1001 can be used to call the device control stored in the memory 1005.
  • the application program is used to execute the description of the data processing method of the immersive media in any of the embodiments corresponding to FIG. 4 and FIG. 5, which will not be described again here. In addition, the description of the beneficial effects of using the same method will not be described again.
  • the embodiment of the present application also provides a computer-readable storage medium, and the computer-readable storage medium stores the aforementioned immersive media data processing device 1 and immersive media data processing device 2.
  • the computer program executed, and the computer program includes program instructions.
  • the processor executes the program instructions, it can execute the description of the data processing method of the immersive media in any of the corresponding embodiments of Figure 4 and Figure 5. Therefore, here No further details will be given.
  • the description of the beneficial effects of using the same method will not be described again.
  • technical details not disclosed in the computer-readable storage medium embodiments involved in this application please refer to the description of the method embodiments in this application.
  • the above-mentioned computer-readable storage medium may be the data processing device for immersion media provided in any of the foregoing embodiments or an internal storage unit of the above-mentioned computer device, such as a hard disk or memory of the computer device.
  • the computer-readable storage medium can also be an external storage device of the computer device, such as a plug-in hard disk, a smart media card (SMC), a secure digital (SD) card equipped on the computer device, Flash card, etc.
  • the computer-readable storage medium may also include both an internal storage unit of the computer device and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the computer device.
  • the computer-readable storage medium can also be used to temporarily store data that has been output or is to be output.
  • the embodiment of the present application also provides a computer program product including a computer program. When it is run on a computer, it causes the computer device to execute any one of the embodiments corresponding to Figure 4 and Figure 5. provided method. In addition, the description of the beneficial effects of using the same method will not be described again. For technical details not disclosed in the computer program products or computer program embodiments involved in this application, please refer to the description of the method embodiments in this application.
  • FIG. 9 is a schematic structural diagram of a data processing system provided by an embodiment of the present application.
  • the data processing system 3 may comprise a data processing device 1a and a data processing device 2a.
  • the data processing device 1a may be the immersive media data processing device 1 in the embodiment corresponding to FIG. 6. It can be understood that the data processing device 1a may be integrated into the content production equipment in the embodiment corresponding to FIG. 3. 100A, therefore, no further details will be given here.
  • the data processing device 2a may be the immersive media data processing device 2 in the embodiment corresponding to FIG. 7. It can be understood that the data processing device 2a may be integrated in the content consumption device 100B in the embodiment corresponding to FIG. 3. , therefore, will not be described in detail here. In addition, the description of the beneficial effects of using the same method will not be described again.
  • the description of the beneficial effects of using the same method will not be described again.
  • For technical details that are not disclosed in the embodiments of the data processing system involved in this application please refer to the description of the method embodiment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种沉浸媒体的数据处理方法、装置、设备及存储介质，该方法包括：在对包含至少两个属性数据组的点云码流进行解码时，获取目标属性数据组对应的属性预测关系模式；至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。采用本申请，可以明确多个属性数据组之间的预测参考关系，实现多个属性数据组之间的属性预测，从而提高多属性点云码流的解码效率。

Description

一种沉浸媒体的数据处理方法、装置、设备、介质和产品
本申请要求于2022年08月18日提交中国专利局、申请号为202210995023.5、申请名称为“一种沉浸媒体的数据处理方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，尤其涉及沉浸媒体的数据处理。
背景技术
沉浸媒体是指能为业务对象带来沉浸式体验的媒体内容，点云媒体即一种典型的沉浸媒体。相关技术中，对于存在多个属性类型、每个属性类型有多个属性数据组的点云码流(也可称为多属性点云码流)，当这些属性数据组之间存在关联关系时，相关指示方式较为简单，通常仅适用于每种属性类型只有一个属性数据组的情况，而无法明确指示多个属性数据组之间的预测参考关系，从而影响多属性点云码流的解码效率。
发明内容
本申请实施例提供了一种沉浸媒体的数据处理方法、装置、设备、存储介质和程序产品，可以明确多个属性数据组之间的预测参考关系，实现多个属性数据组之间的属性预测，从而提高多属性点云码流的解码效率。
本申请实施例一方面提供了一种沉浸媒体的数据处理方法，包括：
在对包含至少两个属性数据组的点云码流进行解码时，获取目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。
本申请实施例一方面提供了一种沉浸媒体的数据处理方法，包括：
在对包含至少两个属性数据组的点云数据进行编码时，确定目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的编码或者不参与对目标属性数据组的编码。
本申请实施例一方面提供了一种沉浸媒体的数据处理装置，包括：
模式获取模块，用于在对包含至少两个属性数据组的点云码流进行解码时，获取目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组；至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
参考确定模块，用于当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。
本申请实施例一方面提供了一种沉浸媒体的数据处理装置，包括：
模式确定模块，用于在对包含至少两个属性数据组的点云数据进行编码时，确定目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
参考确定模块，用于当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的编码或者不参与对目标属性数据组的编码。
本申请实施例一方面提供了一种计算机设备，包括：处理器和存储器；
处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种包括计算机程序的计算机程序产品，当其在计算机上运行时，使得所述计算机执行以上方面的方法法。
本申请实施例可以在对包含至少两个属性数据组的点云码流进行解码的过程中，获取目标属性数据组对应的属性预测关系模式，这里的目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，且至少两个属性数据组还包括与目标属性数据组之间满足该属性预测关系模式的一个或多个待参考属性数据组。进一步，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，可以在这一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组，这里的参考属性数据组可以用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。由于本申请实施例可以通过指定的标识符(例如目标属性数据组对应的组标识符)区分属性数据组，并进一步具体化各属性数据组之间的预测参考关系，从而可以在相应的待参考属性数据组中快速确定属性解码时所要参考的参考属性数据组，以实现多个属性数据组之间的属性预测，进而提高多属性点云码流的解码效率。
附图说明
图1a是本申请实施例提供的3DoF的示意图；
图1b是本申请实施例提供的3DoF+的示意图；
图1c是本申请实施例提供的6DoF的示意图；
图2是本申请实施例提供的一种沉浸媒体从采集到被消费的流程示意图；
图3是本申请实施例提供的一种沉浸媒体系统的架构示意图；
图4是本申请实施例提供的一种沉浸媒体的数据处理方法的流程示意图；
图5是本申请实施例提供的一种沉浸媒体的数据处理方法的流程示意图；
图6是本申请实施例提供的一种沉浸媒体的数据处理装置的结构示意图；
图7是本申请实施例提供的一种沉浸媒体的数据处理装置的结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图；
图9是本申请实施例提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请实施例涉及的一些技术术语进行介绍：
一、沉浸媒体：
沉浸媒体(也可称为沉浸式媒体)是指能够提供沉浸式的媒体内容，使沉浸于该媒体内容中的业务对象能够获得现实世界中视觉、听觉等感官体验的媒体文件。沉浸媒体按照业务对象在消费媒体内容时的自由度(Degree of Freedom，简称DoF)，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体。其中，点云媒体即为一种典型的6DoF媒体。在本申请实施例中，可以将进行沉浸式媒体(例如点云媒体)消费的用户(即观看者)统称为业务对象。
二、点云：
点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其他信息。通常，点云中的每个点都具有相同数量的附加属性。
点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，包括虚拟现实(Virtual Reality，VR)游戏、计算机辅助设计(Computer Aided Design，CAD)、地理信息系统(Geography Information System，GIS)、自动导航系统(Autonomous Navigation System，ANS)、数字文化遗产、自由视点广播、三维沉浸远程呈现、生物组织器官三维重建等。
点云的获取主要有以下途径：计算机生成、3D(3-Dimension，三维)激光扫描、3D摄影测量等。计算机可以生成虚拟三维物体及场景的点云。3D扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云。3D摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由MRI(Magnetic Resonance Imaging，磁共振成像)、CT(Computed Tomography，电子计算机断层扫描)、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度。点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
三、轨道(Track)：
轨道是媒体文件封装过程中的媒体数据集合，一个媒体文件可由一个或多个轨道组成，例如常见的：一个媒体文件可以包含一个视频轨道、一个音频轨道及一个字幕轨道。
四、样本(Sample)：
样本是媒体文件封装过程中的封装单位，一个轨道由很多个样本组成，例如：一个视频轨道可以由很多个样本组成，一个样本通常为一个视频帧。在本申请实施例中，一个样本可以为一个点云帧。
五、DoF(自由度)：
本申请中DoF是指业务对象在观看沉浸媒体(如点云媒体)时支持的运动并产生内容交互的自由度，可以包括3DoF(三自由度)、3DoF+和6DoF(六自由度)。其中，3DoF是指业务对象头部围绕x轴、y轴、z轴旋转的三种自由度。3DoF+是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴有限运动的自由度。6DoF是在三自由度的基础上，业务对象还拥有沿x轴、y轴、z轴自由运动的自由度。
六、ISOBMFF(ISO Based Media File Format，基于ISO(International Standard Organization，国际标准化组织)标准的媒体文件格式)：是媒体文件的封装标准，较为典型的ISOBMFF文件即MP4(Moving Picture Experts Group 4，动态图像专家组4)文件。
七、DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP(Hyper Text Transfer Protocol，超文本传输协议)的动态自适应流)：是一种自适应比特率技术，使高质量流媒体可以通过传统的HTTP网络服务器在互联网传递。
八、MPD(Media Presentation Description，DASH中的媒体演示描述信令)，用于描述媒体文件中的媒体片段信息。
九、表示层级(Representation)：是指DASH中一个或多个媒体成分的组合，比如某种分辨率的视频文件可以看作一个Representation。
十、自适应集层级(Adaptation Sets)：是指DASH中一个或多个视频流的集合，一个Adaptation Sets中可以包含多个Representation。
十一、媒体片段(Media Segment)：符合一定的媒体格式、可播放的片段。播放时可能需要与其前面的0个或多个片段以及初始化片段(Initialization Segment)配合。
本申请实施例涉及沉浸媒体的数据处理技术，下面将对沉浸媒体的数据处理过程中的一些概念进行介绍，特别说明的是，本申请后续实施例中均以沉浸媒体为点云媒体为例进行说明。
请参见图1a，图1a是本申请实施例提供的3DoF的示意图。如图1a所示，3DoF是指消费沉浸媒体的业务对象在一个三维空间的中心点固定，业务对象头部沿着X轴、Y轴和Z轴旋转来观看媒体内容提供的画面。
请参见图1b，图1b是本申请实施例提供的3DoF+的示意图。如图1b所示，3DoF+是指当沉浸媒体提供的虚拟场景具有一定的深度信息，业务对象头部可以基于3DoF在一个有限的空间内移动来观看媒体内容提供的画面。
请参见图1c，图1c是本申请实施例提供的6DoF的示意图。如图1c所示，6DoF分为窗口6DoF、全方向6DoF和6DoF，其中，窗口6DoF是指业务对象在X轴、Y轴的旋转移动受限，以及在Z轴的平移受限；例如，业务对象不能够看到窗户框架外的景象，以及业务对象无法穿过窗户。全方向6DoF是指业务对象在X轴、Y轴和Z轴的旋转移动受限，例如，业务对象在受限的移动区域中不能自由的穿过三维的360度VR内容。6DoF是指业务对象在3DoF的基础上，可以沿着X轴、Y轴、Z轴自由平移，例如，业务对象可以在三维的360度VR内容中自由地走动。
请参见图2，图2是本申请实施例提供的一种沉浸媒体从采集到被消费的流程示意图。如图2所示，以点云媒体为例，针对沉浸媒体的完整处理过程具体可以包括：点云采集，点云编码，点云文件封装，点云文件传输，点云文件解封装，点云解码和最终的视频呈现。
其中，点云采集可将多个相机从不同角度采集到的点云数据转换为二进制数字信息，其中，由点云数据转换为的二进制数字信息是一种二进制数据流，该二进制数字信息也可称为该点云数据的码流或者位流(Bitstream)。点云编码则是指通过压缩技术，将原始视频格式的文件转换为另一种视频格式文件。从点云数据的获取方式看，点云数据可以分为相机拍摄到的以及计算机生成的两种方式，由于统计特性的不同，其对应的压缩编码方式也可能有所区别，常用的压缩编码方式具体可以包括HEVC(High Efficiency Video Coding，国际视频编码标准HEVC/H.265)，VVC(Versatile Video Coding，国际视频编码标准VVC/H.266)，AVS(Audio Video Coding Standard，中国国家视频编码标准)，AVS3(由AVS标准组推出的第三代视频编码标准)等。
在点云编码后，则需要对编码后的数据流(即点云码流)进行封装并传输给业务对象，点云文件封装是指按照封装格式(或容器，或文件容器)，将已经编码压缩好的点云码流按照一定的格式存放在一个文件中，常见的封装格式包括AVI格式(Audio Video Interleaved，音频视频交错格式)或者ISOBMFF格式。在一个实施例中，将点云码流按照如ISOBMFF的文件格式封装在文件容器中形成点云文件(也可称为媒体文件、封装文件、视频文件)，该点云文件可由多个轨道组成，比如可以包含一个视频轨道、一个音频轨道以及一个字幕轨道。
内容制作设备执行上述编码过程和文件封装过程后，可以将点云文件传输到内容消费设备上的客户端，客户端则可在进行解封装、解码等逆操作后，在客户端中进行最终媒体内容的呈现。其中，点云文件可基于各种传输协议发送到客户端，这里的传输协议可包括但不限于：DASH协议、HLS(HTTP Live Streaming，动态码率自适应传输)协议、SMTP(Smart Media Transport Protocol，智能媒体传输协议)、TCP(Transmission Control Protocol，传输控制协议)等。
可以理解，客户端的文件解封装的过程与上述的文件封装过程是相逆的，客户端可按照封装时的文件格式要求对点云文件进行解封装，得到点云码流。客户端的解码过程与编码过程也是相逆的，例如，该客户端可对点云码流解码，还原出媒体内容。
为便于理解，请一并参见图3，图3是本申请实施例提供的一种沉浸媒体系统的架构示意图。如图3所示，该沉浸媒体系统可以包括内容制作设备(例如，内容制作设备100A)和内容消费设备(例如，内容消费设备100B)，内容制作设备可以是指点云媒体的提供者(例如点云媒体的内容制作者)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)等)或服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。内容消费设备可以是指点云媒体的使用者(例如点云媒体的观看者，即业务对象)所使用的计算机设备，该计算机设备可以是终端(如PC(Personal Computer，个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等)、智能家电、车载终端、飞行器等)，该计算机设备集成有客户端。其中，这里的客户端可以为具有显示文字、图像、音频以及视频等数据信息功能的客户端，包括但不限于多媒体客户端(例如，视频客户端)、社交类客户端(例如，即时通信客户端)、资讯类应用(例如，新闻客户端)、娱乐客户端(例如，游戏客户端)、购物客户端、车载客户端、浏览器等。其中，该客户端可以为独立的客户端，也可以为集成在某客户端(例如，社交客户端)中的嵌入式子客户端，在此不做限定。
可以理解的是，本申请涉及沉浸媒体的数据处理技术可以依托于云技术进行实现；例如，将云服务器作为内容制作设备。云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
点云媒体的数据处理过程包括在内容制作设备侧的数据处理过程及在内容消费设备侧的数据处理过程。
在内容制作设备侧的数据处理过程主要包括：(1)点云媒体的媒体内容的获取与制作过程；(2)点云媒体的编码及文件封装的过程。在内容消费设备侧的数据处理过程主要包括：(1)点云媒体的文件解封装及解码的过程；(2)点云媒体的渲染过程。另外，内容制作设备与内容消费设备之间涉及点云媒体的传输过程，该传输过程可以基于各种传输协议来进行，此处的传输协议可包括但不限于：DASH协议、HLS协议、SMTP协议、TCP协议等。
下面将结合图3，分别对点云媒体的数据处理过程中涉及的各个过程进行详细介绍。
一、在内容制作设备侧的数据处理过程：
(1)点云媒体的媒体内容的获取与制作过程。
1)点云媒体的媒体内容的获取过程。
点云媒体的媒体内容是通过捕获设备采集现实世界的声音-视觉场景获得的。在一种实现中，捕获设备可以是指设于内容制作设备中的硬件组件，例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中，该捕获设备也可以是与内容制作设备相连接的硬件装置，例如与服务器相连接的摄像头，用于为内容制作设备提供点云媒体的媒体内容的获取服务。该捕获设备可以包括但不限于：音频设备、摄像设备及传感设备。其中，音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个，这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容，捕获的音频内容和视频内容在时间和空间上均保持同步。本申请实施例可以将由部署在特定位置的捕获设备所采集到的用于提供多自由度(如6DoF)观看体验的三维空间的媒体内容称作点云媒体。
例如，以获取点云媒体的视频内容为例进行说明，如图3所示，视觉场景10A(例如真实世界的视觉场景)可以由内容制作设备100A相连接的一组相机阵列捕获，或者，可以由与内容制作设备100A相连接的具有多个摄像头和传感器的摄像设备捕获。采集结果可以为源点云数据10B(即点云媒体的视频内容)。
2)点云媒体的媒体内容的制作过程。
应当理解，本申请实施例所涉及的点云媒体的媒体内容的制作过程可以理解为点云媒体的内容制作的过程，且这里的点云媒体的内容制作主要由部署在多个位置的相机或相机阵列拍摄得到的点云数据等形式的内容制作而成，比如，内容制作设备可以将点云媒体从三维的表示转换成二维的表示。这里的点云媒体可以包含几何信息、属性信息、占位图信息以及图集数据等，点云媒体在编码前一般需要进行特定处理，例如点云数据在编码前需要切割、映射等过程。
具体的，①将采集输入的点云媒体的三维表示数据(即上述点云数据)投影到二维平面，通常采用正交投影、透视投影、ERP投影(Equi-Rectangular Projection，等距柱状投影)方式，投影到二维平面的点云媒体通过几何组件、占位组件和属性组件的数据表示，其中，几何组件的数据提供点云媒体每个点在三维空间中的位置信息，属性组件的数据提供点云媒体每个点的额外属性(如颜色、纹理或材质信息)，占位组件的数据指示其他组件中的数据是否与点云媒体关联；
②对点云媒体的二维表示的组件数据进行处理生成图块，根据几何组件数据中表示的点云媒体的位置，将点云媒体的二维表示所在的二维平面区域分割成多个不同大小的矩形区域，一个矩形区域为一个图块，图块包含将该矩形区域反投影到三维空间的必要信息；
③打包图块生成图集，将图块放入一个二维网格中，并保证各个图块中的有效部分是没有重叠的。一个点云媒体生成的图块可以打包成一个或多个图集；
④基于图集数据生成对应的几何数据、属性数据和占位数据，将图集数据、几何数据、属性数据、占位数据组合形成点云媒体在二维平面的最终表示。
其中，需要注意的是，在点云媒体的内容制作过程中，几何组件为必选，占位组件为条件必选，属性组件为可选。
此外，需要说明的是，由于采用捕获设备可以捕获到全景视频，这样的视频经内容制作设备处理并传输至内容消费设备进行相应的数据处理后，内容消费设备侧的业务对象需要通过执行一些特定动作(如头部旋转)来观看360度的视频信息，而执行非特定动作(如移动头部)并不能获得相应的视频变化，VR体验不佳，因此需要额外提供与全景视频相匹配的深度信息，来使业务对象获得更优的沉浸度和更佳的VR体验，这就涉及6DoF制作技术。当业务对象可以在模拟的场景中较自由地移动时，称为6DoF。采用6DoF制作技术进行点云媒体的视频内容的制作时，捕获设备一般会选用激光设备、雷达设备等，捕获空间中的点云数据。
(2)点云媒体的编码及文件封装的过程。
捕获到的音频内容可直接进行音频编码形成点云媒体的音频码流。捕获到的视频内容可进行视频编码，得到点云媒体的视频码流。此处需要说明的是，如果采用6DoF制作技术，在视频编码过程中需要采用特定的编码方式(如基于传统视频编码的点云压缩方式)进行编码。将音频码流和视频码流按照点云媒体的文件格式(如ISOBMFF)封装在文件容器中形成点云媒体的媒体文件资源，该媒体文件资源可以是媒体文件或媒体片段形成的点云媒体的媒体文件；并按照点云媒体的文件格式要求采用媒体呈现描述信息(即MPD)记录该点云媒体的媒体文件资源的元数据，此处的元数据是对与点云媒体的呈现有关的信息的总称，该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。可以理解，内容制作设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。
具体的，采集的音频会被编码成相应的音频码流，点云媒体的几何信息、属性信息以及占位图信息可以采用传统的视频编码方式，而点云媒体的图集数据可以采用熵编码方式。然后，按一定格式(如ISOBMFF、HNSS)将编码的媒体封装在文件容器中并结合描述媒体内容属性的元数据和视窗元数据，根据一个特定的媒体文件格式组成一个媒体文件或者组成一个初始化片段和媒体片段。
例如，如图3所示，内容制作设备100A对源点云数据10B中的一个或多个数据帧进行点云媒体编码，例如，采用基于几何模型的点云压缩(Geometry-based Point Cloud Compression，GPCC，其中，PCC即点云压缩)，从而得到编码后的点云码流10E(即视频码流，例如GPCC码流)，包括几何码流(即对几何信息进行编码后得到的码流)以及属性码流(即对属性信息进行编码后得到的码流)。随后，内容制作设备100A可以根据特定的媒体文件格式(如ISOBMFF)，将一个或多个编码后的码流封装成一个用于本地回放的媒体文件10F，或者，封装成一个用于流式传输的包含一个初始化片段和多个媒体片段的片段序列10Fs。此外，内容制作设备100A中的文件封装器也可以将相关元数据添加到媒体文件10F或片段序列10Fs中。进一步，内容制作设备100A可以采用某种传输机制(如DASH、SMT)将片段序列10Fs传输到内容消费设备100B，或者，将媒体文件10F传输到内容消费设备100B。在一些实施方式中，内容消费设备100B可以为一个播放器。
二、在内容消费设备侧的数据处理过程：
(3)点云媒体的文件解封装及解码的过程。
内容消费设备可以通过内容制作设备的推荐或按照内容消费设备侧的业务对象需求自适应动态从内容制作设备获得点云媒体的媒体文件资源和相应的媒体呈现描述信息，例如内容消费设备可根据业务对象的头部/眼睛的位置信息确定业务对象的观看方向和观看位置，再基于确定的观看方向和观看位置动态向内容制作设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由内容制作设备传输给内容消费设备。内容消费设备侧的文件解封装的过程与内容制作设备侧的文件封装过程是相逆的，内容消费设备按照点云媒体的文件格式(例如，ISOBMFF)要求对媒体文件资源进行解封装，得到音频码流和视频码流。内容消费设备侧的解码过程与内容制作设备侧的编码过程是相逆的，内容消费设备对音频码流进行音频解码，还原出音频内容；内容消费设备对视频码流进行视频解码，还原出视频内容。
例如，如图3所示，内容制作设备100A中的文件封装器输出的媒体文件10F与内容消费设备100B中输入文件解封装器的媒体文件10F'是相同的。文件解封装器对媒体文件10F'或接收到的片段序列10F's进行文件解封装处理，并提取出编码后的点云码流10E'，同时解析相应的元数据，随后可以对点云码流10E'进行点云媒体解码，得到解码后的视频信号10D'，且可以从视频信号10D'生成点云数据(即还原出的视频内容)。其中，媒体文件10F和媒体文件10F'可以包括轨道格式定义，它可能包含对轨道中的样本所包含的基本流的约束。
(4)点云媒体的渲染过程。
内容消费设备根据媒体文件资源对应的媒体呈现描述信息中与渲染相关的元数据，对音频解码得到的音频内容及视频解码得到的视频内容进行渲染，渲染完成即实现了对该内容的播放输出。
例如，如图3所示，内容消费设备100B可以基于当前的观看位置、观看方向或视窗，对上述生成的点云数据进行渲染，并显示在头戴式显示器或任何其他显示设备的屏幕上。其中，当前的视窗可以由各种类型的传感器确定，例如，这里的传感器可以包括头部检测传感器，可能还有位置检测传感器或者眼睛检测传感器。除了被内容消费设备100B用来获取解码后的点云数据的适当部分外，当前的观看位置或观看方向也可以用于解码优化。此外，在视窗相关的传输中，当前的观看位置和观看方向也会被传递给内容消费设备100B中的策略模块，该策略模块可以根据当前的观看位置和观看方向确定要接收的轨道。
上述可知，内容消费设备可以动态地从内容制作设备侧获取点云媒体对应的媒体文件资源，由于媒体文件资源是由内容制作设备对捕获到的音视频内容进行编码以及封装后所得到的，因此，内容消费设备接收到内容制作设备返回的媒体文件资源后，需要先对该媒体文件资源进行解封装，得到相应的音视频码流，随后再对该音视频码流进行解码，最终才能将解码后的音视频内容呈现给业务对象。这里的点云媒体可以包括但不限于VPCC(Video-based Point Cloud Compression，基于传统视频编码的点云压缩)点云媒体、GPCC(Geometry-based Point Cloud Compression，基于几何模型的点云压缩)点云媒体。
可以理解的是，点云序列是点云码流的最高层语法结构，点云序列由序列头信息(简称序列头)开始，后面跟着一个或多个点云帧，每个点云帧之前可以有几何头信息(简称几何头)、属性头信息(简称属性头)和一个或多个点云片数据。这里的点云片数据(slice)由几何片头、几何信息、属性片头和属性信息组成。在本申请实施例中，可以将点云数据或点云码流所包含的属性数据划分为相应的属性数据组，每个属性数据组对应于一种属性类型，每个属性数据组包含对应属性类型下的一个或多个属性数据。需要说明的是，在本申请实施例中，点云数据中的属性数据组可能是未编码的属性数据组，也可能是已编码的属性数据组；类似的，点云码流中的属性数据组可能是未解码的属性数据组，也可能是已解码的属性数据组。其中，属性类型可以包括但不限于颜色属性、反射率属性、法向量属性、材质属性等。为了提升点云数据的编码效率，许多点云编码技术支持跨类型的属性预测，即在对当前属性数据组进行编码时，可以通过特定的方式来利用前面已经编码的属性数据组的信息(例如颜色RGB编码后的数值、反射率编码后的数值等)来提高当前属性数据组编码的效率。由于解码过程与编码过程是相逆的，因此，类似的，在对当前属性数据组进行解码时，同样可以利用前面已经解码的属性数据组的信息来提高当前属性数据组解码的效率。为便于理解和区分，本申请实施例将当前编码(或解码)的属性数据组称为目标属性数据组，将编码(或解码)目标属性数据组时所参考的属性数据组(若有)称为参考属性数据组。例如，假设某点云数据包含多种属性类型的多个属性数据组，例如包含颜色属性数据组1、颜色属性数据组2、颜色属性数据组3以及反射率属性数据组1、反射率属性数据组2，若当前正在对反射率属性数据组2进行编码，那么可能参考的是颜色属性数据组1、颜色属性数据组2、颜色属性数据组3中的一个或多个，或者可能既参考了某个颜色属性数据组又参考了反射率属性数据组1，还有可能是默认参考某一个属性数据组或者具有某种属性类型的属性数据组，且编码端的参考情况与此对应，由此可见，不同属性数据组之间的预测参考关系可能不尽相同，而现有技术通常会默认颜色属性数据组和反射率属性数据组分别只有一个，从而通过简单的指示来明确二者之间的关联关系(例如，单个颜色属性数据组编码/解码时依赖于单个反射率属性数据组，或者单个反射率属性数据组编码/解码时依赖于单个颜色属性数据组，或者二者之间不存在依赖关系)，可见现有方法对多属性点云数据和多属性点云码流不太适用。
针对当前点云编码技术中对于多属性数据组指示不明确的问题，本申请提供了一种点云码流高层语法信息的指示方法，可以具体化各属性数据组之间的关联关系。具体来说，内容制作设备可以对获取到的点云数据进行编码，假设该点云数据包含至少两个属性数据组，则在属性编码过程中，可以先确定目标属性数据组对应的属性预测关系模式，这里的目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，且至少两个属性数据组还包括与目标属性数据组之间满足该属性预测关系模式的一个或多个待参考属性数据组。进一步，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，内容制作设备可以在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组，进而可以基于该参考属性数据组对目标属性数据组进行编码，或者选择直接对目标属性数据组进行编码。编码结束后，可以将得到的点云码流封装为沉浸媒体的媒体文件，进而可将该媒体文件传输至内容消费设备进行消费。可以理解，在本申请实施例中，可以通过指定的标识符(例如目标属性数据组对应的组标识符)区分属性数据组，并进一步具体化各属性数据组之间的预测参考关系，从而可以在相应的一个或多个待参考属性数据组中快速确定属性编码时所要参考的参考属性数据组，以实现多个属性数据组之间的属性预测，最终可以提高多属性点云数据的编码效率。
与该编码过程类似，内容消费设备可以对接收到的媒体文件进行解封装，以得到相应的点云码流，进而可以对该点云码流进行解码，在此过程中，可以获取标属性数据组对应的属性预测关系模式，进而可以在目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在这些待参考属性数据组中确定目标属性数据组对应的参考属性数据组。这里的参考属性数据组可用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。基于各属性数据组之间的预测参考关系，本申请实施例可以在相应的一个或多个待参考属性数据组中快速获取属性解码时所要参考的参考属性数据组，以实现多个属性数据组之间的属性预测，从而可以提高多属性点云码流的解码效率。
应当理解，本申请实施例提供的方法可以应用于沉浸媒体系统的服务器端(即内容制作设备侧)、播放器端(即内容消费设备侧)以及中间节点(例如，SMT(Smart Media Transport，智能媒体传输)接收实体、SMT发送实体)等环节，还可以应用于点云压缩相关产品。其中，内容制作设备确定目标属性数据组对应的属性预测关系模式，以及确定目标属性数据组对应的参考属性数据组，并对目标属性数据组进行编码的具体过程，以及内容消费设备获取目标属性数据组对应的属性预测关系模式，以及确定目标属性数据组对应的参考属性数据组，并对目标属性数据组进行解码的具体过程，可以参见下述图4-图5所对应实施例的描述。
进一步地，请参见图4，图4是本申请实施例提供的一种沉浸媒体的数据处理方法的流程示意图。该方法可由沉浸媒体系统中的内容制作设备(例如，上述图3所对应实施例中的内容制作设备100A)来执行，比如，该内容制作设备可以为服务器，本申请实施例以服务器执行为例进行说明。该方法至少可以包括以下S101-S102：
S101，在对包含至少两个属性数据组的点云数据进行编码时，根据目标属性数据组的组标识符确定目标属性数据组对应的属性预测关系模式；
具体的，服务器可以通过捕获设备(例如，包含多个相机的相机阵列)获取现实世界三维物体或场景的点云数据，或者，服务器可以生成虚拟三维物体或场景的点云数据。这里的点云数据可以用于表征对应三维物体或场景的空间结构以及表面属性(例如色彩、材质等)。进一步，服务器可以对获取到的点云数据进行编码，这里的编码过程包括对几何数据的编码以及对属性数据的编码，本申请实施例主要对属性数据的编码过程进行说明。假设该点云数据包含至少两个属性数据组，这里对属性数据组的属性类型和具体数量均不进行限定，那么在对目标属性数据组进行编码时，可以先确定目标属性数据组对应的属性预测关系模式。
其中，目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，可以理解，每个属性数据组均可以具有唯一的标识符以便区分，因此，通过组标识符的变化，目标属性数据组可以为至少两个属性数据组中的任意一个待编码的属性数据组，还可以通过组标识符进一步标识对应的属性参数。在一些实施例中，组标识符可以为目标属性数据组的索引、标号，也可以为一些约定的符号，这里将不对组标识符的具体内容进行限定。
需要说明的是，上述至少两个属性数据组还可以包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组，这里对待参考属性数据组的数量不进行限定。在本申请实施例中，属性预测关系模式也可以称为多属性关联关系模式，可以包括但不限于属性间预测模式和默认属性预测模式。其中，属性间预测模式可以包括但不限于跨属性预测模式、同属性预测模式、通用属性预测模式，其中，跨属性预测模式是指跨属性类型的属性预测模式，可用于不同属性类型间预测；同属性预测模式是指同属性类型的属性预测模式，可用于相同属性类型间预测；通用属性预测模式则可以包括跨属性预测模式和同属性预测模式中的任意一种或多种，可用于不限属性类型间预测。默认属性预测模式是指编解码端所共同默认开启的属性预测模式。通过指定目标属性数据组对应的属性预测关系模式，可以快速获知与目标属性数据组之间满足该属性预测关系模式的一个或多个待参考属性数据组，也就是说，一个或多个待参考属性数据组对应的属性类型与指定的属性预测关系模式相关。例如，当目标属性数据组的属性类型为颜色属性时，若其支持的属性预测关系模式为同属性预测模式，则相应的一个或多个待参考属性数据组对应的属性类型也均为颜色属性。
可以理解，不同属性类型的属性数据组所支持的属性预测关系模式可以相同也可以不相同，相同属性类型的多个属性数据组所分别支持的属性预测关系模式可以相同也可以不相同，本申请对此不进行限定。
可选的，若目标属性数据组对应的属性预测关系模式为跨属性预测模式或同属性预测模式或通用属性预测模式，则服务器可以进一步获取目标属性数据组针对一个或多个待参考属性数据组的预测状态。在本申请实施例中，预测状态可以包括预测开启状态和预测关闭状态，可以理解，这里的预测开启状态可以表示目标属性数据组开启针对一个或多个待参考属性数据组的相应属性预测关系模式；反之，预测关闭状态可以表示目标属性数据组不开启该属性预测关系模式。
可选的，若目标属性数据组对应的属性预测关系模式为默认属性预测模式即不传输用于指示属性预测关系模式的参数，由编码端(即服务器端)和解码端(即客户端)共同约定开启一种属性预测关系模式(例如跨属性预测模式、同属性预测模式、通用属性预测模式等中的一种)作为默认属性预测模式，则服务器可以在相应的一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组，并可以基于该参考属性数据组对目标属性数据组进行编码或者直接对目标属性数据组进行编码，其具体实现过程可以参见后续S102中的相关描述，这里暂不展开。
可选的，编解码端还可以默认不开启任意属性预测关系模式，也就是说，当前属性编码时不参考任何已编码的属性数据组。
可以理解，本申请实施例可以支持多种方式来确定目标属性数据组对应的属性预测关系模式，这些方式可以通过在码流高层语法层面进行字段拓展来实现，例如在与点云数据相关联的参数集中添加用于指示属性预测关系模式的模式标志字段，下面列举了几种可行的实施方式：
在一种可选的实施方式中，可以在与点云数据相关联的参数集(例如序列参数集或属性参数集)中添加携带组标识符的第一模式标志字段，这里的第一模式标志字段可用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为跨属性预测模式。其中，至少两个属性数据组包括与目标属性数据组之间满足跨属性预测模式的一个或多个待参考属性数据组，可以理解，这里的一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同。
可以理解的是，第一模式标志字段可以为一个标志位，可通过不同的取值来表示目标属性数据组是否开启跨属性预测模式。可选的，当第一模式标志字段的字段值为第一标志值(例如，取值为1)时，可以表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；可选的，当第一模式标志字段的字段值为第二标志值(例如，取值为0)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，在一些实施例中，当前属性数据组的标识符(即组标识符)为attrIdx，则服务器可以在与点云数据相关联的属性头信息(例如attribute_header)中设置标志位(即第一模式标志字段)crossAttrTypePred[attrIdx]；当crossAttrTypePred[attrIdx]＝1(即第一标志值)时，当前attrIdx对应的属性数据组(即目标属性数据组)开启跨类型的属性预测；反之，当crossAttrTypePred[attrIdx]＝0(即第二标志值)时，当前attrIdx对应的属性数据组不开启跨类型的属性预测。
在另一种可选的实施方式中，可以在与点云数据相关联的参数集(例如序列参数集或属性参数集)中添加携带组标识符的第二模式标志字段，这里的第二模式标志字段可用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为同属性预测模式。其中，至少两个属性数据组包括与目标属性数据组之间满足同属性预测模式的一个或多个待参考属性数据组，可以理解，这里的一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同。
可以理解的是，第二模式标志字段可以为一个标志位，可通过不同的取值来表示目标属性数据组是否开启同属性预测模式。可选的，当第二模式标志字段的字段值为第三标志值(例如，取值为1)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；可选的，当第二模式标志字段的字段值为第四标志值(例如，取值为0)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，在一些实施例中，当前属性数据组的标识符(即组标识符)为attrIdx，则服务器可以在与点云数据相关联的属性头信息(例如attribute_header)中设置标志位(即第二模式标志字段)withinAttrTypePred[attrIdx]；当withinAttrTypePred[attrIdx]＝1(即第三标志值)时，当前attrIdx对应的属性数据组(即目标属性数据组)开启同类型间的属性预测；反之，当withinAttrTypePred[attrIdx]＝0(即第四标志值)时，当前attrIdx对应的属性数据组不开启同类型间的属性预测。
在另一种可选的实施方式中，可以在与点云数据相关联的参数集(例如序列参数集或属性参数集)中添加携带组标识符的第三模式标志字段，这里的第三模式标志字段可用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式。其中，至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组，可以理解，这里的一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同，即对一个或多个待参考属性数据组对应的属性类型不进行限定。
可以理解的是，第三模式标志字段可以为一个标志位，可通过不同的取值来表示目标属性数据组是否开启通用属性预测模式。可选的，当第三模式标志字段的字段值为第五标志值(例如，取值为1)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；可选的，当第三模式标志字段的字段值为第六标志值(例如，取值为0)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，在一些实施例中，当前属性数据组的标识符(即组标识符)为attrIdx，则服务器可以在与点云数据相关联的属性头信息(例如attribute_header)中设置标志位(即第三模式标志字段)crossAttrPred[attrIdx]；当crossAttrPred[attrIdx]＝1(即第五标志值)时，当前attrIdx对应的属性数据组(即目标属性数据组)开启不限类型的属性预测；反之，当crossAttrPred[attrIdx]＝0(即第六标志值)时，当前attrIdx对应的属性数据组不开启不限类型的属性预测。
在另一种可选的实施方式中，可以在与点云数据相关联的参数集(例如序列参数集或属性参数集)中添加携带组标识符的第一模式标志字段和第二模式标志字段，这里的第一模式标志字段和第二模式标志字段可共同用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式。其中，至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组。
可以理解的是，第一模式标志字段和第二模式标志字段均可以为标志位，二者可通过不同的取值组合来表示目标属性数据组是否开启相应的属性预测模式(例如跨属性预测模式和同属性预测模式中的任意一种或多种)。
可选的，当第一模式标志字段的字段值为第一标志值(例如，取值为1)，且第二模式标志字段的字段值为第三标志值(例如，取值为1)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且此时一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同，即开启不限类型的属性预测。
可选的，当第一模式标志字段的字段值为第二标志值(例如，取值为0)，且第二模式标志字段的字段值为第三标志值(例如，取值为1)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且此时一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同，即开启同类型间的属性预测。
可选的，当第一模式标志字段的字段值为第一标志值(例如，取值为1)，且第二模式标志字段的字段值为第四标志值(例如，取值为0)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同，即开启跨类型的属性预测。
可选的，当第一模式标志字段的字段值为第二标志值(例如，取值为0)，且第二模式标志字段的字段值为第四标志值(例如，取值为0)时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同，即不开启不限类型的属性预测。
例如，在一些实施例中，当前属性数据组的标识符(即组标识符)为attrIdx，则服务器可以在与点云数据相关联的属性头信息(例如attribute_header)中设置标志位crossAttrTypePred[attrIdx](即第一模式标志字段)和withinAttrTypePred[attrIdx](即第二模式标志字段)；当crossAttrTypePred[attrIdx]＝1(即第一标志值)且withinAttrTypePred[attrIdx]＝1(即第三标志值)时，当前attrIdx对应的属性数据组(即目标属性数据组)开启不限类型的属性预测；当crossAttrTypePred[attrIdx]＝0(即第二标志值)且withinAttrTypePred[attrIdx]＝1时，当前attrIdx对应的属性数据组开启同类型间的属性预测；当crossAttrTypePred[attrIdx]＝1且withinAttrTypePred[attrIdx]＝0(即第四标志值)时，当前attrIdx对应的属性数据组开启跨类型的属性预测；当crossAttrTypePred[attrIdx]＝0且withinAttrTypePred[attrIdx]＝0时，当前attrIdx对应的属性数据组不开启不限类型的属性预测。由此可见，通过两个标志位的组合可以在指示当前属性预测关系模式类型的同时指示相应的预测状态，与只用一个标志位(例如第三模式标志字段)相比，其指示的内容可以更丰富。
本申请实施例多列举的几种实施方式既包括对现有字段的拓展或再定义(例如crossAttrTypePred)，也包括了一些新增字段(例如withinAttrTypePred、crossAttrPred)，将这些字段与组标识符(例如attrIdx)相结合，可以快速指定各个属性数据组对应的属性预测关系模式及其预测状态，相当于初步为多个属性数据组建立起一个预测参考关系网络，其中不同属性数据组对应的属性预测关系模式可以相同，也可以不相同。可以理解的是，在一些实施方式中，上述模式标志字段(例如第一模式标志字段、第二模式标志字段、第三模式标志字段)也可以不携带组标识符，例如对每个属性数据组单独设置属性头的场景，或者在前述多个属性数据组使用一个属性头指示的场景中，所有属性数据组对应的属性预测关系模式均相同时，可以不携带组标识符。这里对其它类似方法不再一一列举，具体采用何种方式可以根据实际需求决定，本申请实施例对此不进行限定。
S102，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组。
具体的，在确定目标属性数据组对应的属性预测关系模式后，服务器可以进一步确定编码目标属性数据组所需参考的参考属性数据组，可选的，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，或者，当目标属性数据组对应的属性预测关系模式为默认属性预测模式时，服务器可以在相应的一个或多个待参考属性数据组中确定目标属性数据组所对应的参考属性数据组。这里的参考属性数据组可以用于参与对目标属性数据组的编码或者不参与目标属性数据组的编码，本申请实施例对此不进行限定。其中，当基于参考属性数据组对目标属性数据组进行编码时，属性预测中有一个近邻点查找的过程(编解码都需要)，该过程可以利用前面已编码的属性的值(即重建值)，以便提高当前属性编码的效率。
可以理解，本申请实施例可以支持多种方式来确定目标属性数据组对应的参考属性数据组，并对目标属性数据组进行编码。下面列举了几种可行的实施方式：
在第一种可选的实施方式中，服务器可以在与点云数据相关联的属性头信息中添加参考组标识符(非必需项)，这里的参考组标识符可用于指定任意属性数据组，例如可用于指示一个或多个待参考属性数据组中与目标属性数据组对应的单个参考属性数据组。其中，参考组标识符可以携带组标识符，也可以不携带组标识符，具体需要根据实际采用的语法来决定。需要说明的是，参考组标识符与组标识符的本质应该是统一的，但取值可以不相同，例如，当组标识符为目标属性数据组的索引时，参考组标识符为参考属性数据组的索引。可选的，也可以由编解码端默认参考组标识符的参数值(即编码目标属性数据组时默认参考编解码端所指定的某个参考属性数据组，例如所有属性数据组中的第一个属性数据组)。进一步，当目标属性数据组依赖于属性预测参数组进行编码时，服务器可以基于属性预测参数组和参考组标识符所指示的参考属性数据组，对目标属性数据组进行编码。或者，当目标属性数据组不依赖于属性预测参数组进行编码时，可以直接对目标属性数据组进行编码。需要说明的是，目标属性数据组是否依赖于属性预测参数组进行编码，可以由编解码端默认，或者通过设置模式标志字段的字段值来指示，例如，当目标属性数据组对应的模式标志字段(例如第一模式标志字段、第二模式标志字段、第三模式标志字段等)的字段值为启用标志值(指模式标志字段指示为enable状态时所采用的值，例如，对第一模式标志字段可取值为第一标志值)时，可表示目标属性数据组依赖于属性预测参数组进行编码。也就是说，即使通过某种方式指定了参考属性数据组(例如，编解码端默认，或者通过参考组标识符指定等)，但是否要去参考指定的属性数据组来进行编码，对于每个属性数据组而言可能是不一样的，而在去参考指定的属性数据组时才会用到属性预测参数组。其中，属性预测参数组可以包括一个或多个在目标属性数据组的属性预测过程中所需的属性参数，这里将不对属性预测参数组所包含的属性参数的具体内容和数量进行限定。
可以理解，本申请实施例提供的方法是在现有技术基础上的拓展，在点云码流中添加若干描述性字段，包括码流高层语法层面的字段拓展，且适用于不同的针对多属性的支持方案。因此，本申请中的“组标识符”和“参考组标识符”应用在不同方案的语法中时可能会有不一样的定义。为便于理解和说明，后续将举例说明本申请在两种现有方案基础上的拓展，其它类似方案也可以参考对这两种方案的说明。
为支持上述步骤，本申请实施例在系统层添加了若干描述性字段，以扩展AVS GPCC码流高层语法的形式举例，定义了点云高层语法信息指示方法，下文将结合相关的语法对在AVS GPCC码流高层语法中扩展的相关字段进行详细说明。
例如，为便于理解，请参见表1，该表1用于指示本申请实施例提供的一种点云媒体的属性头信息结构(attribute_header)的语法：
表1


表1所示的属性头信息结构，将属性数据组以唯一标识符attrIdx区分，支持包含同一点云类型的多组点云数据。其中，attributeDataType[attrIdx]指示attrIdx对应的属性数据组的属性类型，取值为0表示该属性数据组为颜色数据；取值为1表示该属性数据组为反射率数据，还可以取其它值表示除了颜色和反射率之外的其它属性类型，这里不做限定。maxNumAttributesMinus1为无符号整数，加1表示本标准码流支持的最大属性编码数据组数目。maxNumAttributesMinus1的数值是一个界于0到15之间的整数。当maxNumAttributesMinus1不出现在码流的时候，maxNumAttributesMinus1默认为0。crossAttrTypePred可以为前文所述的第一模式标志字段。attrIdx为相应属性数据组的标识符，例如，假设当前共有5个属性数据组，那么每个属性数据组对应的attrIdx可以依次为0、1、2、3、4，而各个属性数据组的属性类型通过attributeDataType[attrIdx]来指示。也就是说，在表1所示的方案中，“组标识符”(即表1中的attrIdx)和“参考组标识符”(即表1中的attrIdx_pred)均为对应属性数据组的唯一标识符，且二者的取值均为一维数值，也就是说，在这种情况下，每种点云数据类型的一组数据实例可以对应于一个独一无二的属性数据标识符(即数据组标识符)。
基于此，在上述表1所示的方案中，通过参考组标识符可以指示点云数据中的任一个属性数据组。例如，当参考组标识符的取值为第一符号值时，表示对应的参考属性数据组为至少两个属性数据组中的第一个属性数据组；可选的，当参考组标识符的取值为第二符号值时，表示对应的参考属性数据组为特定属性类型的第一个属性数据组(例如颜色属性的第一个属性数据组)，这里对特定属性类型不进行限定；可选的，当参考组标识符的取值为第三符号值时，表示对应的参考属性数据组为目标属性数据组的前一个属性数据组，可以理解，此时组标识符的取值与第三符号值之间的差值为1。此外，还可以对参考组标识符取其它的值来指示相应的参考属性数据组，这里不再一一列举。需要说明的是，对于同一个点云数据而言，第一符号值、第二符号值以及第三符号值的具体取值可能相同，也可能不相同，本申请实施例对此不进行限定。
例如，假设点云数据包括2个颜色属性数据组(对应的数据组标识符依次为0、2)和2个反射率属性数据组(对应的数据组标识符依次为1、3)，当前对属性数据组2进行编码(即attrIdx＝2)，则当attrIdx_pred[2]＝0时表示属性数据组2对应的参考属性数据组为第一个属性数据组(即属性数据组0)；当attrIdx_pred[2]＝1时表示属性数据组2对应的参考属性数据组为反射率属性的第一个属性数据组(即属性数据组1)；当attrIdx_pred[2]＝2-1(即attrIdx-1)时，表示属性数据组2对应的参考属性数据组为其前一个属性数据组。
需要说明的是，本申请实施例中的目标属性数据组是指当前编码的属性数据组，而它所依赖的参考属性数据组通常应为已编码的属性数据组，但在一些特殊情况下(例如不考虑编码顺序而直接指定参考属性数据组，如上述第一种实施方式)，若参考属性数据组的编码顺序晚于目标属性数据组的编码顺序，则无法基于该参考属性数据组对当前目标属性数据组进行预测和编码，则此时可以直接对目标属性数据组进行编码，或者，还可以默认参考前面已经编码的属性数据组(例如，目标属性数据组的前一个属性数据组)。
例如，在一个实施例中，若目标属性数据组依赖于属性预测参数组进行编码，且组标识符的取值大于参考组标识符的取值，则表示确定参考的参考属性数据组的编码顺序在目标属性数据组之前，此时服务器可以设置目标属性数据组对应的属性预测参数组。这里的属性预测参数组具体可以包括crossAttrTypePredParam或者其它参数，例如可以包括第一属性预测权重参数(例如上述表1中的crossAttrTypePredParam1)和第二属性预测权重参数(例如上述表1中的crossAttrTypePredParam2)。其中，crossAttrTypePredParam1(也可称为跨类型的属性预测权重参数1)为15位无符号整数，可用于控制相应属性预测(例如跨类型的属性预测)中，计算几何信息距离和属性信息距离的权重参数1。crossAttrTypePredParam2(也可称为跨类型的属性预测权重参数2)为21位无符号整数，可用于控制相应属性预测(例如跨类型的属性预测)中，计算几何信息距离和属性信息距离的权重参数2。进一步，服务器可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码，例如可以将这三者代入相关算法进行计算来查找预测点，这里不对具体的编码过程进行展开。
又例如，在另一个实施例中，服务器可以先设置目标属性数据组对应的属性预测参数组，类似的，这里的属性预测参数组也可以包括第一属性预测权重参数和第二属性预测权重参数。若目标属性数据组依赖于属性预测参数组进行编码，且组标识符的取值大于参考组标识符的取值，则可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
可以理解，上述第一个实施例中的方法需要服务器先对组标识符和参考组标识符的取值大小进行判断，在满足先验条件的前提下再去设置相应的属性预测参数组；而第二个实施例中的方法则由服务器先设置属性预测参数组，再通过判断条件来决定是否启用预先设置的属性预测参数组。在实际应用中可以任选其中一种方法，本申请实施例对此不做限定。
可以理解，上述两种实施例还可能存在组标识符和参考组标识符的取值大小不满足条件的情况，也就是说，当组标识符的取值小于或等于参考组标识符的取值时，服务器可以直接对目标属性数据组进行编码。
进一步地，为便于理解，请参见表2，该表2用于指示本申请实施例提供的一种点云媒体的属性头信息结构(attribute_header)的语法：
表2


表2所示的属性头信息结构，将点云属性类型与标识符attrIdx绑定，具体属性参数由对应的索引i表示，支持包含同一点云类型的多组点云数据。其中，maxNumAttributesMinus1为无符号整数，加1表示本标准码流支持的最大属性编码数目。maxNumAttributesMinus1的数值是一个界于0到15之间的整数，当maxNumAttributesMinus1不出现在码流的时候，maxNumAttributesMinus1默认为-1。attributePresentFlag[attrIdx]为属性存在标志，为二值变量，值为‘1’表示本码流包含第attrIdx属性编码；值为‘0’表示本码流不包含第attrIdx属性编码。sps_multi_data_set_flag等于1表明开启支持属性多数据集；sps_multi_data_set_flag等于0表明关闭支持属性多数据集；当sps_multi_data_set_flag不出现在码流时，其默认值为零。multi_data_set_flag[attrIdx]等于1表明由属性类型索引attrIdx确定的属性开启支持属性多数据集；multi_data_set_flag[attrIdx]等于0表明由属性类型索引attrIdx确定的属性关闭支持属性多数据集；该语法元素在码流中不存在的时候，其默认值为零。attribute_num_data_set_minus1[attrIdx]加一规定了由属性类型索引attrIdx确定的属性支持的属性多数据集的数目，这是一个0到15间的数字，当该语法元素在码流中不存在的时候，其默认值为零。crossAttrTypePred为前文所述的第一模式标志字段。attrIdx是一个界于0到15的整数，其含义可以参见表3：
表3
由上述表3可知，attrIdx取值为0表示该属性数据组为颜色数据；取值为1表示该属性数据组为反射率数据，还可以取其它值表示除了颜色和反射率之外的其它属性类型，这里不做限定。
可以理解，在表2所示的方案中，attrIdx和i是配合在一起使用的，因此，“组标识符”和“参考组标识符”的含义可以有多种，具体如下：
可选的，组标识符可以为目标属性数据组对应的目标属性类型索引(例如表2中的attrIdx)，相应的，参考组标识符则为参考属性数据组对应的参考属性类型索引(例如表2中的attrIdx_pred)，此时二者的取值均为一维数值，也就是说，组标识符和参考组标识符只用来指示相应属性数据组的属性类型。这样，当参考组标识符的取值为第四符号值(例如，取值为0)时，可以表示参考属性数据组为具有第四符号值所指示的属性类型(例如，颜色属性)的默认属性数据组。可以理解，这里的默认属性数据组是指编解码端所默认的属性数据组，不需要再通过额外的参数来指定，例如参考属性数据组可以为颜色属性的第一个属性数据组。本申请实施例将不对第四符号值的具体数值进行限定。
可选的，组标识符可以为目标属性数据组对应的目标数据组索引(例如表2中的i)，相应的，参考组标识符则为参考属性数据组对应的参考数据组索引(例如表2中的attrIdx_pred)，此时二者的取值均为一维数值，也就是说，组标识符和参考组标识符只用来指示相应属性数据组的索引。这样，当参考组标识符的取值为第五符号值(例如，i＝1)时，可以表示参考属性数据组为具有默认属性类型且由第五符号值所标识的属性数据组。可以理解，这里的默认属性类型是指编解码端所默认的属性类型(例如，反射率属性)，不需要再通过额外的参数来指定，例如参考属性数据组可以为反射率属性的第i个属性数据组。本申请实施例将不对第五符号值的具体数值进行限定。
可选的，组标识符可以包括目标属性数据组对应的目标属性类型索引(例如表2中的attrIdx)和目标数据组索引(例如表2中的i)，相应的，参考组标识符(例如表2中的attrIdx_pred)可以包括参考属性数据组对应的参考属性类型索引和参考数据组索引，此时组标识符和参考组标识符均为二维数组。这样，在一些实施例中，当参考属性类型索引的取值为第一索引值，且参考数据组索引的取值为第二索引值(例如，i＝0)时，可以表示参考属性数据组为至少两个属性数据组中的第一个属性数据组。其中，第一索引值为最先编码的属性类型所对应的索引值。或者，当参考属性类型索引的取值为第三索引值，且参考数据组索引的取值为第二索引值(例如，i＝0)时，可以表示参考属性数据组为第三索引值所指示的特定属性类型的第一个属性数据组，本申请实施例将不对第三索引值的具体数值进行限定。又或者，当参考属性类型索引的取值与目标属性类型索引的取值相同，且参考数据组索引的取值为第四索引值时，可以表示参考属性数据组为目标属性数据组的前一个属性数据组，此时目标数据组索引的取值与第四索引值之间的差值为1，即第四索引值＝i-1。对于其它取值情况这里不再一一列举。
对于组标识符和参考组标识符均为二维数组的场景，服务器可以进一步确定目标属性数据组对应的属性预测参数组，具体如下：
在一个实施例中，当目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值相同时，表示目标属性数据组和参考属性数据组具有相同的属性类型，若目标数据组索引的取值大于参考数据组索引的取值，则表示参考属性数据组的编码顺序在目标属性数据组之前，此时服务器可以设置目标属性数据组对应的属性预测参数组。这里的属性预测参数组可以包括第一属性预测权重参数(例如上述表2中的crossAttrTypePredParam1)和第二属性预测权重参数(例如上述表2中的crossAttrTypePredParam2)，其语义可参见上述表1的说明。随后，服务器可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
又或者，与上述表1相关的实施例类似，在另一个实施例中，服务器也可以先设置目标属性数据组对应的属性预测参数组(包括第一属性预测权重参数、第二属性预测权重参数)，若目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值相同，且目标数据组索引的取值大于参考数据组索引的取值，则可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
可选的，在一个实施例中，当目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值不相同，且参考属性类型索引所指示的属性类型的编码顺序先于目标属性类型索引所指示的属性类型时，服务器可以设置目标属性数据组对应的属性预测参数组。这里的属性预测参数组可以包括第一属性预测权重参数和第二属性预测权重参数。随后，可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
又或者，与上述表1相关的实施例类似，在另一个实施例中，服务器也可以先设置目标属性数据组对应的属性预测参数组(包括第一属性预测权重参数、第二属性预测权重参数)，若目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值不相同，且参考属性类型索引所指示的属性类型的编码顺序先于目标属性类型索引所指示的属性类型，则可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
与上述第一种实施方式类似，在第二种可选的实施方式中，服务器可以在与点云数据相关联的属性头信息中添加携带组标识符的参考组标识符列表(非必需项)，这里的参考组标识符列表可以包括一个或多个参考组标识符，每个参考组标识符均用于指示一个或多个待参考属性数据组中与目标属性数据组对应的参考属性数据组。本申请实施例将不对参考组标识符列表所包含的参考组标识符的数量进行限定，也就是说，目标属性数据组编码时可以同时参考一个或多个参考属性数据组。可选的，也可以由编解码端默认参考组标识符列表的参数值(即默认参考编解码端所指定的一个或多个参考属性数据组)。进一步，当目标属性数据组依赖于属性预测参数组进行编码时，服务器可以设置每个参考属性数据组相关联的属性预测参数组，进而可以基于所设置的属性预测参数组以及参考属性数据组对目标属性数据组进行编码。
可以理解，本申请实施例提供的参考组标识符列表同样适用于上述表1和表2所示的语法，简单来说，可以将表中的attrIdx_pred替换为attrIdx_pred_list(即动态标识符列表)，相当于通过一个attrIdx_pred_list指定了一个或多个attrIdx_pred。此时组标识符的含义以及相应的参考组标识符列表中的每个参考组标识符的含义可以参见前述第一种实施方式中的相关说明，这里不再进行赘述。
在一些实施例中，参考组标识符列表对应的一个或多个参考属性数据组可均为先于目标属性数据组编码的属性数据组，且每个参考属性数据组对应的属性类型与目标属性数据组对应的属性类型可以相同或不相同；或者，一个或多个参考属性数据组可均为先于目标属性数据组编码且具有特定属性类型的属性数据组；又或者，一个或多个参考属性数据组可均为具有特定属性类型的已编码的属性数据组，本申请实施例对此不再一一列举。这里的特定属性类型可以为任意指定类型。
其中，每个参考属性数据组对应的属性预测参数组可以是独立设置的，或者，具有相同属性类型的参考属性数据组对应的属性预测参数组是共用的，或者，每个参考属性数据组对应的属性预测参数组是共用的，还可以通过其它方式来指定属性预测参数组，本申请实施例对此不进行限定。
在第三种可选的实施方式中，服务器可以在与点云数据相关联的属性头信息中添加携带组标识符的属性编解码顺序字段或者添加不携带组标识符的属性编解码顺序字段。其中，携带组标识符的属性编解码顺序字段可用于指示目标属性数据组所采用的针对属性类型的编解码顺序，即每个属性数据组所采用的针对属性类型的编解码顺序可以相同或不相同；不携带组标识符的属性编解码顺序字段用于指示至少两个属性数据组共同采用的针对属性类型的编解码顺序，即所有属性数据组采用相同的针对属性类型的编解码顺序。这里的编解码顺序是编码顺序和解码顺序的统称，在编码端时可特指为编码顺序，在解码端时可特指为解码顺序，二者是相同的。随后，服务器可以基于该属性编解码顺序字段，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组。当目标属性数据组依赖于属性预测参数组进行编码时，可基于属性预测参数组和参考属性数据组对目标属性数据组进行编码。
可以理解，与上述两种实施方式相比，第三种实施方式主要考虑了属性类型的编码顺序，这样可减少在编码目标属性数据组时所利用的参考属性数据组是在目标属性数据组后进行编码的预测失败情况，可提升参考属性数据组指示的有效性。
例如，为便于理解，请参见表4，该表4用于指示本申请实施例提供的一种点云媒体的属性头信息结构(attribute_header)的语法：
表4

表4所示的属性头信息结构与上述表1所示的属性头信息结构类似，相关语法的语义可以参见上述针对表1的有关说明。其中，attrEncodeOrder[attrIdx]即为携带组标识符attrIdx的属性编解码顺序字段，可以理解，每个attrIdx对应的属性数据组都可以设置相应的属性编解码顺序字段。
类似的，请参见表5，该表5用于指示本申请实施例提供的一种点云媒体的属性头信息结构(attribute_header)的语法：
表5

同理，表5所示的属性头信息结构与上述表1所示的属性头信息结构类似，相关语法的语义可以参见上述针对表1的有关说明。其中，attrEncodeOrder即为不携带组标识符attrIdx的属性编解码顺序字段，可以理解，所有属性数据组都采用相同的属性编解码顺序字段。
在一个实施例中，假设上述至少两个属性数据组对应的属性类型的总数为N，N为正整数，则属性编解码顺序字段(携带或不携带组标识符均可)的字段值可以为与至少两个属性数据组相关联的属性类型编解码顺序表中的编解码顺序对应的索引值，这里的属性类型编解码顺序表中的每个属性类型的编解码顺序均为N个属性类型对应的编解码顺序。例如，假设有4种属性类型，分别为属性类型A、属性类型B、属性类型C、属性类型D，属性类型编解码顺序表包含有两种编解码顺序，当attrEncodeOrder＝0时，对应的编解码顺序为{A,B,C,D}；当attrEncodeOrder＝1时，对应的编解码顺序为{A,C,B,D}。又或者，属性编解码顺序字段可用于描述N个属性类型对应的指定编解码顺序，例如，可以通过属性编解码顺序字段将上述4种属性类型的编解码顺序指定为{A,B,C,D}。
基于此，假设目标属性数据组对应的属性类型在N个属性类型对应的编解码顺序(即编码顺序)中的排序为N1，且N1为小于或等于N的正整数。则服务器在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组的具体过程可以为：根据属性编解码顺序字段所指示的N个属性类型对应的编解码顺序，将位于目标属性数据组对应的属性类型之前的第N2个属性类型作为先预测属性类型(即单个属性数据预测)，或者，将位于目标属性数据组对应的属性类型之前的N2个属性类型作为先预测属性类型(即多个属性数据预测)，其中，N2为小于N1的正整数。进一步，服务器可以在一个或多个待参考属性数据组包含的具有先预测属性类型的待参考属性数据组中确定目标属性数据组对应的参考属性数据组。可选的，这里可以采用编解码端默认的方式来设置目标属性数据组对应的参考属性数据组，例如可以将具有先预测属性类型的第一个待参考属性数据组作为参考属性数据组，或者，也可以将具有先预测属性类型的全部待参考属性数据组作为参考属性数据组。这种默认的方式不需要再传输其它相关参数来指定参考属性数据组。为便于理解，以上述的编解码顺序{A,C,B,D}为例，当目标属性数据组对应的属性类型为属性类型B时，可以默认参考属性类型A的第一个属性数据组(或全部属性数据组)，或默认参考属性类型C的第一个属性数据组(或全部属性数据组)，或默认参考属性类型A的第一个属性数据组(或全部属性数据组)以及属性类型C的第一个属性数据组(或全部属性数据组)。
又或者，在另一个实施例中，服务器可以根据属性编解码顺序字段所指示的属性类型的编解码顺序，先将位于目标属性数据组对应的属性类型之前的所有属性类型作为先预测属性类型，进而可以根据先预测属性类型，在与点云数据相关联的属性头信息中添加携带组标识符或添加不携带组标识符的参考组标识符(例如attrIdx_pred)，通过添加的参考组标识符来指定参考属性数据组，具体过程可以参见上述第一种实施方式中的相关描述，这里不再进行赘述。可以理解，这里的参考组标识符所指示的属性数据组对应的属性类型属于先预测属性类型。进一步，可以将具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组。可选的，也可以在与点云数据相关联的属性头信息中添加携带组标识符或添加不携带组标识符的参考组标识符列表(例如attrIdx_pred_list)，通过添加的参考组标识符列表来指定参考属性数据组，具体过程可以参见上述第二种实施方式中的相关描述，这里不再进行赘述。可选的，还可以由编解码端默认具有先预测属性类型的一个或多个待参考属性数据组作为参考属性数据组。
随后，服务器可以设置参考属性数据组对应的属性预测参数组，进而基于所设置的属性预测参数组以及参考属性数据组对目标属性数据组进行编码，或者直接对目标属性数据组进行编码，具体实现过程可以参见上述两种实施方式中的相关描述，这里不再进行赘述。
需要说明的是，在一些可选的实施例中，目标属性数据组对应的参考属性数据组可以为服务器和客户端默认的属性数据组，可以不需要传输参考组标识符、参考组标识符列表或属性编解码顺序字段等参数。该默认的属性数据组可以为特定属性类型的第一个属性数据组或者该特定属性类型的所有属性数据组，或者也可以为目标属性数据组的前一个属性数据组，本申请实施例对此不做限定。
在第四种可选的实施方式中，与点云数据相关联的参数集中始终包含有模式标志字段，则服务器可以通过设置相关模式标志字段的字段值来确定参考属性数据组，这里的模式标志字段可以包括但不限于第一模式标志字段、第二模式标志字段、第三模式标志字段(可参见上述S101中的相关描述)。
例如，在一个实施例中，假设点云数据包含的属性数据组的数量为2，待参考属性数据组的数量为1，也就是说，当只存在两个属性数据组时，最多只有一个被参考的属性数据组。在这种情况下，可选的，若目标属性数据组对应的模式标志字段的字段值和待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值(例如，取值为1)，且目标属性数据组的编码顺序晚于待参考属性数据组，则可以将这个待参考属性数据组作为目标属性数据组对应的参考属性数据组。此时可以只设置目标属性数据组对应的属性预测参数组，而不需要设置参考属性数据组对应的属性预测参数组；或者，也可以将目标属性数据组和参考属性数据组所对应的属性预测参数组设置为相同的值。也就是说，在属性数据组只有两个的情况下，将这两个属性数据组对应的模式标志字段的字段值均设置为启用标志值，则表示二者之间存在参考依赖关系，且此时只有一种参考情况，即后编码的属性数据组参考先编码的属性数据组。
或者，可选的，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值(例如，取值为1)，且待参考属性数据组对应的模式标志字段的字段值设置为停用标志值(例如，取值为0)，则可以将待参考属性数据组作为目标属性数据组对应的参考属性数据组。也就是说，在属性数据组只有两个的情况下，可以只将后编码的属性数据组(例如属性数据组1)对应的模式标志字段的字段值设置为启用标志值，另外一个属性数据组(例如属性数据组2)对应的模式标志字段的字段值则设置为停用标志值，表示属性数据组1编码时需要参考属性数据组2，且需要设置属性数据组1对应的属性预测参数组，而不需要设置属性数据组2对应的属性预测参数组。
例如，为便于理解，请参见表6，该表6用于指示本申请实施例提供的一种点云媒体的属性头信息结构的语法：
表6

表6所示的属性头信息结构，采用独立的属性参数信息头(aps–attribute parameter set)表示，可以支持仅有一组属性依赖的情况。与上述表1或表2所示方案的区别在于，表6的方案中虽然也通过数据组标识符attributeID(类似于表1中的attrIdx)来指示相应属性数据组，但由于每个attributeID对应的属性数据组均采用独立的属性头，因此在上述表6所示的语法中不需要将该标识符作为属性参数的下标或后缀。在只有两个属性数据组的情况下，可以通过设置每个属性数据组对应的crossAttrTypePred(即模式标志字段)的字段值来表示二者之间的参考关系，而无需额外的信息。
又例如，在另一个实施例中，假设点云数据包含的属性数据组的数量大于2，且待参考属性数据组的数量为M，M为大于或等于2的正整数，当限定目标属性数据组对应的参考属性数据组的数量为1时，表示参考属性数据组的数量始终只能有一个，那么此时需要通过添加相应的参考组标识符来在M个待参考属性数据组中确定参考属性数据组。在这种情况下，可选的，若目标属性数据组对应的模式标志字段的字段值和M个待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值(例如，取值为1)，则可以在相关参数集中添加参考组标识符，从而可以将M个待参考属性数据组中具有该参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组，且该参考属性数据组的编码顺序先于目标属性数据组。类似的，此时可以只设置目标属性数据组对应的属性预测参数组，或者，也可以将目标属性数据组和参考属性数据组所对应的属性预测参数组设置为相同的值。
或者，可选的，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值(例如，取值为1)，且M个待参考属性数据组对应的模式标志字段的字段值均设置为停用标志值(例如，取值为0)，表示目标属性数据组需要参考这M个待参考属性数据组中的一个属性数据组，则可以在相关参数集中添加参考组标识符，从而可以将M个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组，且该参考属性数据组的编码顺序先于目标属性数据组。类似的，此时需要设置目标属性数据组对应的属性预测参数组。
例如，为便于理解，请参见表7，该表7用于指示本申请实施例提供的一种点云媒体的属性头信息结构的语法：
表7
表7所示的属性头信息结构与上述表6所示的属性头信息结构类似，即采用独立的属性参数信息头表示，可以支持仅有一个参考属性数据组的情况。在通过对应的crossAttrTypePred(即模式标志字段)指示存在有多个待参考属性数据组的情况下(例如，有3个属性数据组的crossAttrTypePred均置为1)，可以引入attrIdx_pred(即参考组标识符)来确定一个参考属性数据组。
可以理解，上述第四种实施方式所示的信息指示方法可以涵盖现有的信息指示方法(例如默认只有两个属性数据组，或者默认只能有一个参考属性数据组)，且本申请实施例所提供的方法对属性数据组之间的指示更明确。
上述可知，服务器可以通过参考组标识符、参考组标识符列表、属性编解码顺序字段、模式标志字段或者默认等方式，具体化多个属性数据组之间的预测参考关系，从而可以实现对应属性数据组之间的预测等操作。
此外，本申请实施例还支持对一些通用属性参数进行标识和区分，具体如下：
可以理解，与点云数据相关联的属性头信息中包含通用属性参数，在一个实施例中，假设该通用属性参数不依赖于属性类型判断条件(例如，上述表1中的if(attributeDataType[attrIdx]＝＝0)和if(attributeDataType[attrIdx]＝＝1)；或者，上述表2中的if(attrIdx＝＝0)和if(attrIdx＝＝1))。可选的，当通用属性参数与属性类型无关时，服务器可以添加组标识符对与目标属性数据组相关联的通用属性参数进行标识。其中，这里的通用属性参数可以包括长度控制参数(例如coeffLengthControl)，该长度控制参数可用于表示控制零游程的长度。如上述表1所示，针对coeffLengthControl，可以使用coeffLengthControl[attrIdx]指示，且coeffLengthControl[attrIdx]不依赖于小波变换判断条件(例如，上述表1中的if(transform[attrIdx]>0))，也就是说，当transform[attrIdx]大于或等于0时仍可使用长度控制参数coeffLengthControl[attrIdx]。此外，此处的通用属性参数还可以包括outputBitDepthMinus1、maxNumOfNeighboursLog2Minus7等参数，具体可以参见上述表1或表2，这里不再一一列举。可选的，在其它实施例中，transform、coeffLengthControl等通用属性参数也可以不需要组标识符进行标识，此时所有的属性数据组可以共用相同的通用属性参数。
可选的，当通用属性参数与属性类型相关，且存在与该通用属性参数相关的属性类型，且该通用属性参数的字段中未标识有属性类型时，服务器可以添加组标识符对与目标属性数据组相关联的通用属性参数进行标识。这里的通用属性参数可以包括通用属性编码排序参数和通用属性编码指数哥伦布阶数。例如，参见上述表1，针对通用属性编码排序参数reorderMode，可以使用reorderMode[attrIdx]指示；类似的，针对通用属性编码指数哥伦布阶数golombNum，可以使用golombNum[attrIdx]指示。又例如，参见上述表2，针对通用属性编码排序参数reorderMode，可以使用reorderMode[attrIdx][i]指示；类似的，针对通用属性编码指数哥伦布阶数golombNum，可以使用golombNum[attrIdx][i]指示。
可以理解，在一个实施例中，假设通用属性参数依赖于属性类型判断条件(例如，上述表1中的if(attributeDataType[attrIdx]＝＝0)和if(attributeDataType[attrIdx]＝＝1)；或者，上述表2中的if(attrIdx＝＝0)和if(attrIdx＝＝1))，可选的，当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且通用属性参数的字段中标识有属性类型时，服务器可以添加组标识符对与目标属性数据组相关联的通用属性参数进行标识。这里的通用属性参数可以包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。例如，可参见上述表1，针对颜色属性编码排序参数colorReorderMode，可以使用colorReorderMode[attrIdx]指示；针对颜色属性编码指数哥伦布阶数colorGolombNum，可以使用colorGolombNum[attrIdx]指示，且colorReorderMode[attrIdx]和colorGolombNum[attrIdx]位于对应的属性类型判断条件(例如if(attributeDataType[attrIdx]＝＝0)相关语句中。类似的，针对反射率属性编码排序参数refReorderMode，可以使用refReorderMode[attrIdx]指示；针对反射率属性编码指数哥伦布阶数refGolombNum，可以使用refGolombNum[attrIdx]指示，且refReorderMode[attrIdx]和refGolombNum[attrIdx]位于对应的属性类型判断条件(例如if(attributeDataType[attrIdx]＝＝1)相关语句中。
可选的，当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且相同的属性类型对应相同的通用属性参数时，可以不对通用属性参数进行标识，也就是说，相同属性类型的属性数据组共有一套通用属性参数。这里的通用属性参数可以包括颜色属性对应的颜色属性编码排序参数(例如，colorReorderMode)和颜色属性对应的颜色属性编码指数哥伦布阶数(例如，colorGolombNum)，以及反射率属性对应的反射率属性编码排序参数(例如，refReorderMode)和反射率属性对应的反射率属性编码指数哥伦布阶数(例如，refGolombNum)。
此外，与点云数据相关联的参数集中包含有通用参数(可包括几何参数、属性参数)，这些通用参数的表示形式可以为原始形式或幂指数形式，这里的幂指数形式可以包括第一幂指数形式和第二幂指数形式。可选的，当通用参数的表示形式为原始形式时，具有原始形式的通用参数的取值为L，且L为正整数；可选的，当通用参数的表示形式为第一幂指数形式时，具有第一幂指数形式的通用参数的取值为L1，且L＝2L1；L1为小于L的非负整数；可选的，当通用参数的表示形式为第二幂指数形式时，具有第二幂指数形式的通用参数的取值为L2，且L＝2L2+L3；L2、L3均为小于L的非负整数，L3为固定常量，且L2+L3＝L1。
以长度控制参数为例，当长度控制参数的表示形式为原始形式时，具有原始形式的长度控制参数(即coeffLengthControl)的取值为L(例如L＝4096)。当长度控制参数的表示形式为第一幂指数形式时，可以选择是否限制其范围，具有第一幂指数形式的长度控制参数(即coeffLengthControlLog2，可以为无符号整数)的取值为L1(例如L1＝12)，且L＝2L1。当长度控制参数的表示形式为第二幂指数形式时，可以选择是否限制其范围，具有第二幂指数形式的长度控制参数(即coeffLengthControlLog2Minus8，可以为无符号整数)的取值为L2(例如L2＝4)，且L＝2L2+L3，此时L3＝8。
进一步地，通过上述编码过程获得对应的点云码流后，服务器可以将点云码流封装为沉浸媒体的媒体文件，例如，服务器可以根据点云码流中的高层语法信息，灵活地将点云码流封装至一个或多个文件轨道，文件轨道中可划分一个或多个子样本。随后，服务器可以将得到的媒体文件(例如点云文件)传输至客户端。
上述可知，在本申请实施例中，可以通过指定的标识符(例如目标属性数据组对应的组标识符)区分属性数据组，并进一步具体化各属性数据组之间的预测参考关系，从而可以在相应的一个或多个待参考属性数据组中快速确定属性编码时所要参考的参考属性数据组，以实现多个属性数据组之间的属性预测，最终可以提高多属性点云数据的编码效率。此外，本申请实施例还可以通过相应的数据组标识符对多属性参数(例如通用属性参数)的含义进行明确，实现了多类型多组属性参数的表示方式。采用本申请提供的方法，能够更加灵活地以点云片为单位组织点云码流中的几何数据以及各种类型的属性数据，从而能够支持更灵活的文件封装与传输方式以及更多样化的点云应用形式。
进一步地，请参见图5，图5是本申请实施例提供的一种沉浸媒体的数据处理方法的流程示意图。该方法可由沉浸媒体系统中的内容消费设备(例如，上述图3所对应实施例中的内容消费设备100B)来执行，比如，该内容消费设备可以为集成有客户端(例如视频客户端)的终端。该方法至少可以包括以下S201-S202：
S201，在对包含至少两个属性数据组的点云码流进行解码时，根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式；
具体的，客户端可以对服务器发送过来的媒体文件(例如点云文件)进行解封装，从而得到包含至少两个属性数据组的点云码流，随后可以对点云码流进行解码，在解码过程中，需要对其包含的属性数据组进行解码。以目标属性数据组为例，目标属性数据组为当前解码的属性数据组，客户端可以获取目标属性数据组对应的属性预测关系模式。其中， 目标属性数据组为至少两个属性数据组中待解码的属性数据组，且至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组。
在本申请实施例中，属性预测关系模式可以包括但不限于属性间预测模式和默认属性预测模式，其中，属性间预测模式可以包括但不限于跨属性预测模式、同属性预测模式、通用属性预测模式；默认属性预测模式则为客户端和服务端默认开启的属性预测模式。可以理解，客户端可以对与点云码流相关联的参数集(例如序列参数集或属性参数集)进行解码，从而获取目标属性数据组对应的属性预测关系模式。例如，当参数集中添加有模式标志字段(包括但不限于第一模式标志字段、第二模式标志字段、第三模式标志字段)时，可以通过解析模式标志字段来确定对应的属性预测关系模式。
可选的，在一些实施例中，若属性预测关系模式为属性间预测模式，则客户端可以获取目标属性数据组针对一个或多个待参考属性数据组的预测状态；
可选的，在一些实施例中，若属性预测关系模式为默认属性预测模式，则客户端可以在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组，其具体过程可以参见下述S202。这里的参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。
例如，当属性间预测模式包括跨属性预测模式时，客户端获取目标属性数据组对应的属性预测关系模式的具体过程可以为：若在与点云码流相关联的参数集中添加有携带组标识符的第一模式标志字段，则表示具有组标识符的目标属性数据组对应的属性预测关系模式为跨属性预测模式；其中，至少两个属性数据组包括与目标属性数据组之间满足跨属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同。其中，当第一模式标志字段的字段值为第一标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第一模式标志字段的字段值为第二标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，当属性间预测模式包括同属性预测模式时，客户端获取目标属性数据组对应的属性预测关系模式的具体过程可以为：若在与点云码流相关联的参数集中添加有携带组标识符的第二模式标志字段，则表示具有组标识符的目标属性数据组对应的属性预测关系模式为同属性预测模式；其中，至少两个属性数据组包括与目标属性数据组之间满足同属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同。其中，当第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，当属性间预测模式包括通用属性预测模式时，客户端获取目标属性数据组对应的属性预测关系模式的具体过程可以为：若在与点云码流相关联的参数集中添加有携带组标识符的第三模式标志字段，则表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式；其中，至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同。其中，当第三模式标志字段的字段值为第五标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第三模式标志字段的字段值为第六标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
例如，当属性间预测模式包括通用属性预测模式时，客户端获取目标属性数据组对应的属性预测关系模式的具体过程可以为：若在与点云码流相关联的参数集中添加有携带组标识符的第一模式标志字段和第二模式标志字段，则表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式。其中，至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组。
可选的，当第一模式标志字段的字段值为第一标志值，且第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同；
可选的，当第一模式标志字段的字段值为第二标志值，且第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同；
可选的，当第一模式标志字段的字段值为第一标志值，且第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同；
可选的，当第一模式标志字段的字段值为第二标志值，且第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同。
由于解码和编码是相逆的，因此该步骤的具体过程可以参见上述图4所对应实施例中的S101，这里不再进行赘述。
S202，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组。
具体的，在确定目标属性数据组对应的属性预测关系模式后，客户端可以进一步确定解码目标属性数据组所需参考的参考属性数据组，可选的，当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，或者，当目标属性数据组对应的属性预测关系模式为默认属性预测模式时，客户端可以在相应的一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组，这里的参考属性数据组可用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码，本申请实施例对此不进行限定。
本申请实施例可以提供多种可行的实施方式来确定目标属性数据组对应的参考属性数据组，并对目标属性数据组进行解码，例如，客户端可以通过解析服务器在相关参数集中设置的参考组标识符、参考组标识符列表、属性编解码顺序字段或模式标志字段等参数，来确定目标属性数据组对应的参考属性数据组；或者，采用与服务器共同默认的参考属性数据组，从而实现对应属性数据组之间的预测等操作。
例如，在一些实施例中，若在与点云码流相关联的属性头信息中添加有参考组标识符，则客户端可以将一个或多个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组。这里的参考组标识符可以携带组标识符或添加不携带组标识符。进一步地，当目标属性数据组依赖于属性预测参数组进行解码时，客户端可以获取目标属性数据组对应的属性预测参数组，并基于属性预测参数组和参考组标识符所指示的参考属性数据组，对目标属性数据组进行解码。其具体过程可以如下：
可选的，若目标属性数据组依赖于属性预测参数组进行解码，且组标识符的取值大于参考组标识符的取值，则客户端可以获取由服务器设置的目标属性数据组对应的属性预测参数组；属性预测参数组可以包括第一属性预测权重参数和第二属性预测权重参数；进一步，可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行解码。
或者，可选的，客户端可以先获取由服务器设置的目标属性数据组对应的属性预测参数组，这里的属性预测参数组可以包括第一属性预测权重参数和第二属性预测权重参数。进一步，若目标属性数据组依赖于属性预测参数组进行解码，且组标识符的取值大于参考组标识符的取值，则客户端可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行解码。
此外，可选的，若组标识符的取值小于或等于参考组标识符的取值，则客户端可以直接对目标属性数据组进行解码。
又例如，在一些实施例中，组标识符可以包括目标属性数据组对应的目标属性类型索引和目标数据组索引，参考组标识符可以包括参考属性数据组对应的参考属性类型索引和参考数据组索引。此时对目标属性数据组进行解码的具体过程可以如下：
可选的，当目标属性数据组依赖于属性预测参数组进行解码，且参考属性类型索引的取值与目标属性类型索引的取值相同时，若目标数据组索引的取值大于参考数据组索引的取值，则客户端可以获取由服务器设置的目标属性数据组对应的属性预测参数组，这里的属性预测参数组可以包括第一属性预测权重参数和第二属性预测权重参数。进一步地，客户端可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行解码。
或者，可选的，当目标属性数据组依赖于属性预测参数组进行解码，且参考属性类型索引的取值与目标属性类型索引的取值不相同，且参考属性类型索引所指示的属性类型的编解码顺序先于目标属性类型索引所指示的属性类型时，客户端可以获取由服务器设置的目标属性数据组对应的属性预测参数组，这里的属性预测参数组可以包括第一属性预测权重参数和第二属性预测权重参数。进一步地，客户端可以基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行解码。
又例如，在一些实施例中，若在与点云码流相关联的属性头信息中添加有参考组标识符列表，则客户端可以将一个或多个待参考属性数据组中具有参考组标识符列表所包含的参考组标识符的待参考属性数据组，作为目标属性数据组对应的参考属性数据组，这里的参考组标识符列表可以携带组标识符或不携带组标识符。进一步地，当目标属性数据组依赖于属性预测参数组进行解码时，客户端可以获取由服务器设置的每个参考属性数据组相关联的属性预测参数组，并基于所设置的属性预测参数组以及参考属性数据组对目标属性数据组进行解码。
其中，参考组标识符列表对应的一个或多个参考属性数据组均为先于目标属性数据组解码的属性数据组，且每个参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同；或者，每个参考属性数据组均为先于目标属性数据组解码且具有特定属性类型的属性数据组；或者，每个参考属性数据组均为具有特定属性类型的已解码的属性数据组。
其中，每个参考属性数据组相关联的属性预测参数组可以是独立设置的，或者，具有相同属性类型的参考属性数据组相关联的属性预测参数组是共用的，或者，每个参考属性数据组相关联的属性预测参数组是共用的。
又例如，在一些实施例中，若在与点云码流相关联的属性头信息中添加有携带组标识符的属性编解码顺序字段或者添加不携带组标识符的属性编解码顺序字段，则客户端可以基于属性编解码顺序字段，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组。其中，携带组标识符的属性编解码顺序字段可用于指示目标属性数据组所采用的针对属性类型的编解码顺序；不携带组标识符的属性编解码顺序字段可用于指示至少两个属性数据组共同采用的针对属性类型的编解码顺序。
假设至少两个属性数据组对应的属性类型的总数为N，N为正整数。上述属性编解码顺序字段的字段值可以为与至少两个属性数据组相关联的属性类型编解码顺序表中的编解码顺序对应的索引值，属性类型编解码顺序表中的每个属性类型的编解码顺序均为N个属性类型对应的编解码顺序，或者，属性编解码顺序字段可以用于描述N个属性类型对应的指定编解码顺序。
基于此，假设目标属性数据组对应的属性类型在N个属性类型对应的编解码顺序中的排序为N1，N1为小于或等于N的正整数，则客户端基于属性编解码顺序字段确定参考属性数据组的过程可以为：
可选的，客户端可以根据属性编解码顺序字段所指示的N个属性类型对应的编解码顺序，将位于目标属性数据组对应的属性类型之前的第N2个属性类型作为先预测属性类型，或者，可以将位于目标属性数据组对应的属性类型之前的N2个属性类型作为先预测属性类型。其中，N2为小于N1的正整数。进一步地，可以在一个或多个待参考属性数据组包含的具有先预测属性类型的待参考属性数据组中确定目标属性数据组对应的参考属性数据组，这里的参考属性数据组可以为服务器和客户端默认的具有先预测属性类型的待参考属性数据组。
或者，可选的，客户端可以根据属性编解码顺序字段所指示的属性类型的编解码顺序， 将位于目标属性数据组对应的属性类型之前的属性类型作为先预测属性类型，进而可以获取由服务器根据先预测属性类型在与点云码流相关联的属性头信息中添加的携带组标识符的参考组标识符，其中，参考组标识符所指示的属性数据组对应的属性类型属于先预测属性类型。进一步，可以将具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组。
又例如，在一些实施例中，客户端可服务器还可以设置默认的属性数据组为目标属性数据组对应的参考属性数据组，其中，默认的属性数据组可以为特定属性类型的第一个属性数据组或者特定属性类型的所有属性数据组，或者目标属性数据组的前一个属性数据组，或者至少两个属性数据组中的第一个属性数据组，本申请实施例对此不进行限定。
又例如，在一些实施例中，与点云码流相关联的参数集中包含有模式标志字段，属性数据组的数量为2，待参考属性数据组的数量为1，在这种情况下，若目标属性数据组对应的模式标志字段的字段值和待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，且目标属性数据组的编解码顺序晚于待参考属性数据组，则客户端可以将待参考属性数据组作为目标属性数据组对应的参考属性数据组；或者，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值，且待参考属性数据组对应的模式标志字段的字段值设置为停用标志值，则客户端可以将待参考属性数据组作为目标属性数据组对应的参考属性数据组。
类似的，在一些实施例中，目标属性数据组对应的参考属性数据组的数量为1；与点云码流相关联的参数集中包含有模式标志字段；待参考属性数据组的数量为M，M为大于或等于2的正整数，在这种情况下，若目标属性数据组对应的模式标志字段的字段值和M个待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，则客户端可以获取由服务器在参数集中添加的参考组标识符，进而可以将M个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组，此时参考属性数据组的编解码顺序先于目标属性数据组。或者，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值，且M个待参考属性数据组对应的模式标志字段的字段值均设置为停用标志值，则客户端可以获取由服务器在参数集中添加的参考组标识符，进而可以将M个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组，此时参考属性数据组的编解码顺序先于目标属性数据组。
由于解码和编码是相逆的，因此上述步骤的具体过程可以参见上述图4所对应实施例中的S102，这里不再进行赘述。
此外，与点云码流相关联的属性头信息中包含有通用属性参数，本申请实施例还可以对这些通用属性参数进行区分，具体如下：
可选的，若通用属性参数不依赖于属性类型判断条件，那么，当通用属性参数与属性类型无关时，组标识符可以用于对与目标属性数据组相关联的通用属性参数进行标识。这里的通用属性参数可以包括长度控制参数，该长度控制参数用于表示控制零游程的长度。或者，当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且通用属性参数的字段中未标识有属性类型时，组标识符可以用于对与目标属性数据组相关联的通用属性参数进行标识，这里的通用属性参数可以包括通用属性编码排序参数和通用属性编码指数哥伦布阶数。
可选的，若通用属性参数依赖于属性类型判断条件，那么，当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且通用属性参数的字段中标识有属性类型时，组标识符可以用于对与目标属性数据组相关联的通用属性参数进行标识，这里的通用属性参数可以包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。或者，当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且相同的属性类型对应相同的通用属性参数时，通用属性参数可以不携带组标识符进行标识。这里的通用属性参数可以包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。
此外，与点云码流相关联的属性头信息中可以包含通用参数。通用参数的表示形式可以为原始形式或幂指数形式，这里的幂指数形式可以包括第一幂指数形式和第二幂指数形式。例如，当通用参数的表示形式为原始形式时，具有原始形式的通用参数的取值为L，L为正整数；当通用参数的表示形式为第一幂指数形式时，具有第一幂指数形式的通用参数的取值为L1，且L＝2L1，L1为小于L的非负整数；当通用参数的表示形式为第二幂指数形式时，具有第二幂指数形式的通用参数的取值为L2，且L＝2L2+L3；L2、L3均为小于L的非负整数，L3为固定常量，且L2+L3＝L1。
本步骤中对通用参数的区分和标识等过程可以参见上述图4所对应实施例中的S102，这里不再进行赘述。
上述可知，在本申请实施例中，可以通过指定的标识符(例如目标属性数据组对应的组标识符)区分属性数据组，并进一步具体化各属性数据组之间的预测参考关系，从而可以在相应的一个或多个待参考属性数据组中快速确定属性解码时所要参考的参考属性数据组，以实现多个属性数据组之间的属性预测，最终可以提高多属性点云码流的解码效率。此外，客户端在对点云文件进行解封装以及解码时，根据文件封装的结构以及对不同点云组件的需求，可进行部分传输或者部分解码，以达到最大化节省带宽和计算资源的目的。
请参见图6，是本申请实施例提供的一种沉浸媒体的数据处理装置的结构示意图。该沉浸媒体的数据处理装置可以是运行于内容制作设备的一个计算机程序(包括程序代码)，例如该沉浸媒体的数据处理装置为内容制作设备中的一个应用软件；该装置可以用于执行本申请实施例提供的沉浸媒体的数据处理方法中的相应步骤。如图6所示，该沉浸媒体的数据处理装置1可以包括：模式确定模块101、参考确定模块102、第一编码模块103、第二编码模块104、第三编码模块105、第四编码模块106、状态获取模块107、默认预测模块108、第一参数标识模块109、第二参数标识模块110、第三参数标识模块111、参数非标识模块112；
模式确定模块101，用于在对包含至少两个属性数据组的点云数据进行编码时，根据目标属性数据组的组标识符确定目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组，至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
在一种实施方式中，属性间预测模式包括跨属性预测模式；
模式确定模块101具体用于在与点云数据相关联的参数集中添加携带组标识符的第一模式标志字段；第一模式标志字段用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为跨属性预测模式；至少两个属性数据组包括与目标属性数据组之间满足跨属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同；当第一模式标志字段的字段值为第一标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第一模式标志字段的字段值为第二标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
在一种实施方式中，属性间预测模式包括同属性预测模式；
模式确定模块101具体用于在与点云数据相关联的参数集中添加携带组标识符的第二模式标志字段；第二模式标志字段用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为同属性预测模式；至少两个属性数据组包括与目标属性数据组之间满足同属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同；当第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
在一种实施方式中，属性间预测模式包括通用属性预测模式；
模式确定模块101具体用于在与点云数据相关联的参数集中添加携带组标识符的第三模式标志字段；第三模式标志字段用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式；至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组，一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同；当第三模式标志字段的字段值为第五标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态；当第三模式标志字段的字段值为第六标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态。
在一种实施方式中，属性间预测模式包括通用属性预测模式；
模式确定模块101具体用于在与点云数据相关联的参数集中添加携带组标识符的第一模式标志字段和第二模式标志字段；第一模式标志字段和第二模式标志字段共同用于表示具有组标识符的目标属性数据组对应的属性预测关系模式为通用属性预测模式；至少两个属性数据组包括与目标属性数据组之间满足通用属性预测模式的一个或多个待参考属性数据组；
当第一模式标志字段的字段值为第一标志值，且第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同；
当第一模式标志字段的字段值为第二标志值，且第二模式标志字段的字段值为第三标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同；
当第一模式标志字段的字段值为第一标志值，且第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型不相同；
当第一模式标志字段的字段值为第二标志值，且第二模式标志字段的字段值为第四标志值时，表示目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测关闭状态，且一个或多个待参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同。
参考确定模块102，用于当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的编码或者不参与对目标属性数据组的编码；
在一种实施方式中，当目标属性数据组对应的参考属性数据组为服务器和客户端默认的属性数据组时，默认的属性数据组为特定属性类型的第一个属性数据组或者特定属性类型的所有属性数据组，或者目标属性数据组的前一个属性数据组，或者至少两个属性数据组中的第一个属性数据组；
在一种实施方式中，参考确定模块102具体用于若在与点云数据相关联的属性头信息中添加有参考组标识符，则将一个或多个待参考属性数据组中具有参考组标识符的属性数据组作为目标属性数据组对应的参考属性数据组；参考组标识符携带组标识符或不携带组标识符；
在一种实施方式中，与点云数据相关联的参数集中包含有模式标志字段；属性数据组的数量为2，待参考属性数据组的数量为1；
参考确定模块102具体用于若目标属性数据组对应的模式标志字段的字段值和待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，且目标属性数据组的编解码顺序晚于待参考属性数据组，则将待参考属性数据组作为目标属性数据组对应的参考属性数据组；或者，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值，且待参考属性数据组对应的模式标志字段的字段值设置为停用标志值，则将待参考属性数据组作为目标属性数据组对应的参考属性数据组。
在一种实施方式中，目标属性数据组对应的参考属性数据组的数量为1；与点云数据相关联的参数集中包含有模式标志字段；待参考属性数据组的数量为M，M为大于或等于2的正整数；
参考确定模块102具体用于若目标属性数据组对应的模式标志字段的字段值和M个待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，则在参数集中添加参考组标识符，将M个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组；参考属性数据组的编解码顺序先于目标属性数据组；或者，若目标属性数据组对应的模式标志字段的字段值设置为启用标志值，且M个待参考属性数据组对应的模式标志字段的字段值均设置为停用标志值，则在参数集中添加参考组标识符，将M个待参考属性数据组中具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组；参考属性数据组的编解码顺序先于目标属性数据组。
在一种实施方式中，参考确定模块102具体用于若在与点云数据相关联的属性头信息中添加有参考组标识符列表，则将一个或多个待参考属性数据组中具有参考组标识符列表所包含的参考组标识符的待参考属性数据组，作为目标属性数据组对应的参考属性数据组；参考组标识符列表携带组标识符或不携带组标识符。
其中，参考确定模块102可以包括：顺序字段添加单元1021、参考属性确定单元1022；
顺序字段添加单元1021，用于在与点云数据相关联的属性头信息中添加携带组标识符的属性编解码顺序字段或者添加不携带组标识符的属性编解码顺序字段；携带组标识符的属性编解码顺序字段用于指示目标属性数据组所采用的针对属性类型的编解码顺序；不携带组标识符的属性编解码顺序字段用于指示至少两个属性数据组共同采用的针对属性类型的编解码顺序；
参考属性确定单元1022，用于基于属性编解码顺序字段，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组。
在一种实施方式中，至少两个属性数据组对应的属性类型的总数为N，N为正整数；属性编解码顺序字段的字段值为与至少两个属性数据组相关联的属性类型编解码顺序表中的编解码顺序对应的索引值，属性类型编解码顺序表中的每个属性类型的编解码顺序均为N个属性类型对应的编解码顺序，或者，属性编解码顺序字段用于描述N个属性类型对应的指定编解码顺序。
其中，目标属性数据组对应的属性类型在N个属性类型对应的编解码顺序中的排序为N1，N1为小于或等于N的正整数；
参考属性确定单元1022具体用于根据属性编解码顺序字段所指示的N个属性类型对应的编解码顺序，将位于目标属性数据组对应的属性类型之前的第N2个属性类型作为先预测属性类型，或者，将位于目标属性数据组对应的属性类型之前的N2个属性类型作为先预测属性类型；N2为小于N1的正整数；在一个或多个待参考属性数据组包含的具有先预测属性类型的待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组为服务器和客户端默认的具有先预测属性类型的待参考属性数据组。
在一种实施方式中，参考属性确定单元1022具体用于根据属性编解码顺序字段所指示的属性类型的编解码顺序，将位于目标属性数据组对应的属性类型之前的属性类型作为先预测属性类型；根据先预测属性类型在与点云数据相关联的属性头信息中添加携带组标识符的参考组标识符；参考组标识符所指示的属性数据组对应的属性类型属于先预测属性类型；将具有参考组标识符的待参考属性数据组作为目标属性数据组对应的参考属性数据组。
其中，顺序字段添加单元1021、参考属性确定单元1022的具体实现方式可以参见上述图4所对应实施例中的S102，这里不再进行赘述。
第一编码模块103，用于当目标属性数据组依赖于属性预测参数组进行编码时，基于属性预测参数组和参考组标识符所指示的参考属性数据组，对目标属性数据组进行编码；
其中，第一编码模块103可以包括：第一参数设置单元1031、第一编码单元1032、第二参数设置单元1033、第二编码单元1034、第三参数设置单元1035、第三编码单元1036、第四参数设置单元1037、第四编码单元1038；
第一参数设置单元1031，用于若目标属性数据组依赖于属性预测参数组进行编码，且组标识符的取值大于参考组标识符的取值，则设置目标属性数据组对应的属性预测参数组；属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
第一编码单元1032，用于基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码；
第二参数设置单元1033，用于设置目标属性数据组对应的属性预测参数组；属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
第二编码单元1034，用于若目标属性数据组依赖于属性预测参数组进行解码，且组标识符的取值大于参考组标识符的取值，则基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码；
在一种实施方式中，组标识符包括目标属性数据组对应的目标属性类型索引和目标数据组索引，参考组标识符包括参考属性数据组对应的参考属性类型索引和参考数据组索引；
第三参数设置单元1035，用于当目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值相同时，若目标数据组索引的取值大于参考数据组索引的取值，则设置目标属性数据组对应的属性预测参数组；属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
第三编码单元1036，用于基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码；
第四参数设置单元1037，用于当目标属性数据组依赖于属性预测参数组进行编码，且参考属性类型索引的取值与目标属性类型索引的取值不相同，且参考属性类型索引所指示的属性类型的编解码顺序先于目标属性类型索引所指示的属性类型时，设置目标属性数据组对应的属性预测参数组；属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
第四编码单元1038，用于基于第一属性预测权重参数、第二属性预测权重参数和参考属性数据组对目标属性数据组进行编码。
其中，第一参数设置单元1031、第一编码单元1032、第二参数设置单元1033、第二编码单元1034、第三参数设置单元1035、第三编码单元1036、第四参数设置单元1037、第四编码单元1038的具体实现方式可以参见上述图4所对应实施例中的S102，这里不再进行赘述。
第二编码模块104，用于当目标属性数据组不依赖于属性预测参数组进行编码时，对目标属性数据组进行编码；
第三编码模块105，用于若组标识符的取值小于或等于参考组标识符的取值，则对目标属性数据组进行编码；
第四编码模块106，用于当目标属性数据组依赖于属性预测参数组进行编码时，设置每个参考属性数据组相关联的属性预测参数组，基于所设置的属性预测参数组以及参考属性数据组对目标属性数据组进行编码；
在一种实施方式中，参考属性数据组均为先于目标属性数据组编码的属性数据组，且每个参考属性数据组对应的属性类型与目标属性数据组对应的属性类型相同或不相同；或者，参考属性数据组均为先于目标属性数据组编码且具有特定属性类型的属性数据组；或者，参考属性数据组均为具有特定属性类型的已编码的属性数据组；
在一种实施方式中，每个参考属性数据组相关联的属性预测参数组是独立设置的，或者，具有相同属性类型的参考属性数据组相关联的属性预测参数组是共用的，或者，每个参考属性数据组相关联的属性预测参数组是共用的。
状态获取模块107，用于若属性预测关系模式为属性间预测模式，则获取目标属性数据组针对一个或多个待参考属性数据组的预测状态；
默认预测模块108，用于若属性预测关系模式为默认属性预测模式，则在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码；
在一种实施方式中，与点云数据相关联的属性头信息中包含通用属性参数；通用属性参数不依赖于属性类型判断条件；
第一参数标识模块109，用于当通用属性参数与属性类型无关时，添加组标识符对与目标属性数据组相关联的通用属性参数进行标识；通用属性参数包括长度控制参数，长度控制参数用于表示控制零游程的长度；
第二参数标识模块110，用于当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且通用属性参数的字段中未标识有属性类型时，添加组标识符对与目标属性数据组相关联的通用属性参数进行标识；通用属性参数包括通用属性编码排序参数和通用属性编码指数哥伦布阶数。
在一种实施方式中，与点云数据相关联的属性头信息中包含通用属性参数；通用属性参数依赖于属性类型判断条件：
第三参数标识模块111，用于当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且通用属性参数的字段中标识有属性类型时，添加组标识符对与目标属性数据组相关联的通用属性参数进行标识；通用属性参数包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。
参数非标识模块112，用于当通用属性参数与属性类型相关，且存在与通用属性参数相关的属性类型，且相同的属性类型对应相同的通用属性参数时，不对通用属性参数进行标识；通用属性参数包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。
在一种实施方式中，与点云数据相关联的参数集中包含通用参数；通用参数的表示形式为原始形式或幂指数形式；幂指数形式包括第一幂指数形式和第二幂指数形式；
当通用参数的表示形式为原始形式时，具有原始形式的通用参数的取值为L，L为正整数；
当通用参数的表示形式为第一幂指数形式时，具有第一幂指数形式的通用参数的取值为L1，且L＝2L1；L1为小于L的非负整数；
当通用参数的表示形式为第二幂指数形式时，具有第二幂指数形式的通用参数的取值为L2，且L＝2L2+L3；L2、L3均为小于L的非负整数，L3为固定常量，且L2+L3＝L1。
其中，模式确定模块101、参考确定模块102、第一编码模块103、第二编码模块104、第三编码模块105、第四编码模块106、状态获取模块107、默认预测模块108、第一参数标识模块109、第二参数标识模块110、第三参数标识模块111、参数非标识模块112的具体实现方式可以参见上述图4所对应实施例中的S101-S102，这里不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
请参见图7，图7是本申请实施例提供的一种沉浸媒体的数据处理装置的结构示意图。该沉浸媒体的数据处理装置可以是运行于内容消费设备的一个计算机程序(包括程序代码)，例如该沉浸媒体的数据处理装置为内容消费设备中的一个应用软件(例如，视频客户端)；该装置可以用于执行本申请实施例提供的沉浸媒体的数据处理方法中的相应步骤。如图7所示，该沉浸媒体的数据处理装置2可以包括：模式获取模块21、参考确定模块22；
模式获取模块21，用于在对包含至少两个属性数据组的点云码流进行解码时，根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式；目标属性数据组为至少两个属性数据组中具有组标识符的属性数据组；至少两个属性数据组包括与目标属性数据组之间满足属性预测关系模式的一个或多个待参考属性数据组；
参考确定模块22，用于当目标属性数据组针对一个或多个待参考属性数据组的预测状态为预测开启状态时，在一个或多个待参考属性数据组中确定目标属性数据组对应的参考属性数据组；参考属性数据组用于参与对目标属性数据组的解码或者不参与对目标属性数据组的解码。
其中，模式获取模块21、参考确定模块22的具体实现方式可以参见上述图5所对应实施例中的S201-S202，这里不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
请参见图8，是本申请实施例提供的一种计算机设备的结构示意图。如图8所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在如图8所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以执行前文图4、图5任一个所对应实施例中对该沉浸媒体的数据处理方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的沉浸媒体的数据处理装置1和沉浸媒体的数据处理装置2所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图4、图5任一个所对应实施例中对沉浸媒体的数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
上述计算机可读存储介质可以是前述任一实施例提供的沉浸媒体的数据处理装置或者上述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
此外，这里需要指出的是：本申请实施例还提供了一种包括计算机程序的计算机程序产品，当其在计算机上运行时，使得该计算机设备执行前文图4、图5任一个所对应实施例提供的方法。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本申请方法实施例的描述。
进一步的，请参见图9，图9是本申请实施例提供的一种数据处理系统的结构示意图。该数据处理系统3可以包含数据处理装置1a和数据处理装置2a。其中，数据处理装置1a可以为上述图6所对应实施例中的沉浸媒体的数据处理装置1，可以理解的是，该数据处理装置1a可以集成在上述图3所对应实施例中的内容制作设备100A，因此，这里将不再进行赘述。其中，数据处理装置2a可以为上述图7所对应实施例中的沉浸媒体的数据处理装置2，可以理解的是，该数据处理装置2a可以集成在上述图3对应实施例中的内容消费设备100B，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的数据处理系统实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (33)

  1. 一种沉浸媒体的数据处理方法，所述方法由内容消费设备执行，所述方法包括：
    在对包含至少两个属性数据组的点云码流进行解码时，根据目标属性数据组的组标识符获取所述目标属性数据组对应的属性预测关系模式；所述目标属性数据组为所述至少两个属性数据组中待解码的属性数据组，所述至少两个属性数据组包括与所述目标属性数据组之间满足所述属性预测关系模式的一个或多个待参考属性数据组；
    当所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态时，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；所述参考属性数据组用于参与对所述目标属性数据组的解码或者不参与对所述目标属性数据组的解码。
  2. 根据权利要求1所述的方法，所述在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    若在与所述点云码流相关联的属性头信息中添加有参考组标识符，则将所述一个或多个待参考属性数据组中具有所述参考组标识符的待参考属性数据组作为所述目标属性数据组对应的参考属性数据组；所述参考组标识符携带所述组标识符或不携带所述组标识符；
    所述方法还包括：
    当所述目标属性数据组依赖于属性预测参数组进行解码时，获取所述目标属性数据组对应的属性预测参数组，基于所述属性预测参数组和所述参考组标识符所指示的所述参考属性数据组，对所述目标属性数据组进行解码。
  3. 根据权利要求2所述的方法，所述当所述目标属性数据组依赖于属性预测参数组进行解码时，获取所述目标属性数据组对应的属性预测参数组，基于所述属性预测参数组和所述参考组标识符所指示的所述参考属性数据组，对所述目标属性数据组进行解码，包括：
    若所述目标属性数据组依赖于属性预测参数组进行解码，且所述组标识符的取值大于所述参考组标识符的取值，则获取由服务器设置的所述目标属性数据组对应的属性预测参数组；所述属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
    基于所述第一属性预测权重参数、所述第二属性预测权重参数和所述参考属性数据组对所述目标属性数据组进行解码。
  4. 根据权利要求2所述的方法，所述当所述目标属性数据组依赖于属性预测参数组进行解码时，获取所述目标属性数据组对应的属性预测参数组，基于所述属性预测参数组和所述参考组标识符所指示的所述参考属性数据组，对所述目标属性数据组进行解码，包括：
    获取由服务器设置的所述目标属性数据组对应的属性预测参数组；所述属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
    若所述目标属性数据组依赖于属性预测参数组进行解码，且所述组标识符的取值大于所述参考组标识符的取值，则基于所述第一属性预测权重参数、所述第二属性预测权重参数和所述参考属性数据组对所述目标属性数据组进行解码。
  5. 根据权利要求3或4所述的方法，还包括：
    若所述组标识符的取值小于或等于所述参考组标识符的取值，则对所述目标属性数据组进行解码。
  6. 根据权利要求2所述的方法，所述组标识符包括所述目标属性数据组对应的目标属性类型索引和目标数据组索引，所述参考组标识符包括所述参考属性数据组对应的参考属性类型索引和参考数据组索引。
  7. 根据权利要求6所述的方法，所述当所述目标属性数据组依赖于属性预测参数组进行解码时，获取所述目标属性数据组对应的属性预测参数组，基于所述属性预测参数组和所述参考组标识符所指示的所述参考属性数据组，对所述目标属性数据组进行解码，包括：
    当所述目标属性数据组依赖于属性预测参数组进行解码，且所述参考属性类型索引的取值与所述目标属性类型索引的取值相同时，若所述目标数据组索引的取值大于所述参考数据组索引的取值，则获取由服务器设置的所述目标属性数据组对应的属性预测参数组；所述属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
    基于所述第一属性预测权重参数、所述第二属性预测权重参数和所述参考属性数据组对所述目标属性数据组进行解码。
  8. 根据权利要求6所述的方法，所述当所述目标属性数据组依赖于属性预测参数组进行解码时，获取所述目标属性数据组对应的属性预测参数组，基于所述属性预测参数组和所述参考组标识符所指示的所述参考属性数据组，对所述目标属性数据组进行解码，包括：
    当所述目标属性数据组依赖于属性预测参数组进行解码，且所述参考属性类型索引的取值与所述目标属性类型索引的取值不相同，且所述参考属性类型索引所指示的属性类型的编解码顺序先于所述目标属性类型索引所指示的属性类型时，获取由服务器设置的所述目标属性数据组对应的属性预测参数组；所述属性预测参数组包括第一属性预测权重参数和第二属性预测权重参数；
    基于所述第一属性预测权重参数、所述第二属性预测权重参数和所述参考属性数据组对所述目标属性数据组进行解码。
  9. 根据权利要求1所述的方法，所述在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    若在与所述点云码流相关联的属性头信息中添加有参考组标识符列表，则将具有所述参考组标识符列表所包含的参考组标识符的待参考属性数据组，作为所述目标属性数据组对应的参考属性数据组；所述参考组标识符列表携带所述组标识符或不携带所述组标识符；
    所述方法还包括：
    当所述目标属性数据组依赖于属性预测参数组进行解码时，获取由服务器设置的每个参考属性数据组相关联的属性预测参数组，基于所设置的属性预测参数组以及所述参考属性数据组对所述目标属性数据组进行解码。
  10. 根据权利要求9所述的方法，所述参考属性数据组均为先于所述目标属性数据组解码的属性数据组；或者，
    所述参考属性数据组均为先于所述目标属性数据组解码且具有特定属性类型的属性数据组；或者，
    所述参考属性数据组均为具有特定属性类型的已解码的属性数据组。
  11. 根据权利要求9所述的方法，每个参考属性数据组相关联的属性预测参数组是独立设置的，或者，具有相同属性类型的参考属性数据组相关联的属性预测参数组是共用的，或者，每个参考属性数据组相关联的属性预测参数组是共用的。
  12. 根据权利要求1所述的方法，所述在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    若在与所述点云码流相关联的属性头信息中添加有携带所述组标识符的属性编解码顺序字段，或者添加有不携带所述组标识符的属性编解码顺序字段，则基于所述属性编解码顺序字段，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；携带所述目标组标识符的属性编解码顺序字段用于指示所述目标属性数据组所采用的针对属性类型的编解码顺序；不携带所述组标识符的属性编解码顺序字段用于指示所述至少两个属性数据组共同采用的针对属性类型的编解码顺序。
  13. 根据权利要求12所述的方法，所述至少两个属性数据组对应的属性类型的总数为N，N为正整数；
    所述属性编解码顺序字段的字段值为与所述至少两个属性数据组相关联的属性类型编解码顺序表中的编解码顺序对应的索引值，所述属性类型编解码顺序表中的每个属性类型的编解码顺序均为N个属性类型对应的编解码顺序，或者，所述属性编解码顺序字段用于描述所述N个属性类型对应的指定编解码顺序。
  14. 根据权利要求13所述的方法，所述目标属性数据组对应的属性类型在所述N个属性类型对应的编解码顺序中的排序为N1，N1为小于或等于N的正整数；
    所述基于所述属性编解码顺序字段，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    根据所述属性编解码顺序字段所指示的所述N个属性类型对应的编解码顺序，将位于所述目标属性数据组对应的属性类型之前的第N2个属性类型作为先预测属性类型，或者，将位于所述目标属性数据组对应的属性类型之前的N2个属性类型作为先预测属性类型；N2为小于N1的正整数；
    在具有所述先预测属性类型的待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；所述参考属性数据组为服务器和客户端默认的具有所述先预测属性类型的属性数据组。
  15. 根据权利要求12所述的方法，所述基于所述属性编解码顺序字段，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    根据所述属性编解码顺序字段所指示的属性类型的编解码顺序，将位于所述目标属性数据组对应的属性类型之前的属性类型作为先预测属性类型；
    获取由服务器根据所述先预测属性类型在与所述点云码流相关联的属性头信息中添加的携带所述组标识符的参考组标识符；所述参考组标识符所指示的属性数据组对应的属性类型属于所述先预测属性类型；
    将具有所述参考组标识符的待参考属性数据组作为所述目标属性数据组对应的参考属性数据组。
  16. 根据权利要求1所述的方法，当所述目标属性数据组对应的参考属性数据组为服务器和客户端默认的属性数据组时，所述默认的属性数据组为特定属性类型的第一个属性数据组或者所述特定属性类型的所有属性数据组，或者所述目标属性数据组的前一个属性数据组，或者所述至少两个属性数据组中的第一个属性数据组。
  17. 根据权利要求1所述的方法，与所述点云码流相关联的参数集中包含有模式标志字段；所述属性数据组的数量为2，所述待参考属性数据组的数量为1；
    所述在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    若所述目标属性数据组对应的模式标志字段的字段值和所述待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，且所述目标属性数据组的编解码顺序晚于所述待参考属性数据组，则将所述待参考属性数据组作为所述目标属性数据组对应的参考属性数据组；或者，
    若所述目标属性数据组对应的模式标志字段的字段值设置为所述启用标志值，且所述待参考属性数据组对应的模式标志字段的字段值设置为停用标志值，则将所述待参考属性数据组作为所述目标属性数据组对应的参考属性数据组。
  18. 根据权利要求1所述的方法，所述目标属性数据组对应的参考属性数据组的数量为1；与所述点云码流相关联的参数集中包含有模式标志字段；所述待参考属性数据组的数量为M，M为大于或等于2的正整数；
    所述在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组，包括：
    若所述目标属性数据组对应的模式标志字段的字段值和M个待参考属性数据组对应的模式标志字段的字段值均设置为启用标志值，则获取由服务器在所述参数集中添加的参考组标识符，将所述M个待参考属性数据组中具有所述参考组标识符的待参考属性数据组作为所述目标属性数据组对应的参考属性数据组；所述参考属性数据组的编解码顺序先于所述目标属性数据组；或者，
    若所述目标属性数据组对应的模式标志字段的字段值设置为所述启用标志值，且所述M个待参考属性数据组对应的模式标志字段的字段值均设置为停用标志值，则获取由所述服务器在所述参数集中添加的参考组标识符，将所述M个待参考属性数据组中具有所述参考组标识符的待参考属性数据组作为所述目标属性数据组对应的参考属性数据组；所述参考属性数据组的编解码顺序先于所述目标属性数据组。
  19. 根据权利要求1所述的方法，还包括：
    若所述属性预测关系模式为属性间预测模式，则获取所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态；
    若所述属性预测关系模式为默认属性预测模式，则在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的所述参考属性数据组。
  20. 根据权利要求19所述的方法，所述属性间预测模式包括跨属性预测模式；所述根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式，包括：
    若在与所述点云码流相关联的参数集中添加有携带所述组标识符的第一模式标志字段，则表示具有所述组标识符的所述目标属性数据组对应的属性预测关系模式为所述跨属性预测模式；所述至少两个属性数据组包括与所述目标属性数据组之间满足所述跨属性预测模式的一个或多个待参考属性数据组，所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型不相同；
    当所述第一模式标志字段的字段值为第一标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态；当所述第一模式标志字段的字段值为第二标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测关闭状态。
  21. 根据权利要求19所述的方法，所述属性间预测模式包括同属性预测模式；所述根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式，包括：
    若在与所述点云码流相关联的参数集中添加有携带所述组标识符的第二模式标志字段，则表示具有所述组标识符的所述目标属性数据组对应的属性预测关系模式为所述同属性预测模式；所述至少两个属性数据组包括与所述目标属性数据组之间满足所述同属性预测模式的一个或多个待参考属性数据组，所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型相同；
    当所述第二模式标志字段的字段值为第三标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态；当所述第二模式标志字段的字段值为第四标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测关闭状态。
  22. 根据权利要求19所述的方法，所述属性间预测模式包括通用属性预测模式；所述根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式，包括：
    若在与所述点云码流相关联的参数集中添加有携带所述组标识符的第三模式标志字段，则表示具有所述组标识符的所述目标属性数据组对应的属性预测关系模式为所述通用属性预测模式；所述至少两个属性数据组包括与所述目标属性数据组之间满足所述通用属性预测模式的一个或多个待参考属性数据组，所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型相同或不相同；
    当所述第三模式标志字段的字段值为第五标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态；当所述第三模式标志字段的字段值为第六标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测关闭状态。
  23. 根据权利要求19所述的方法，所述属性间预测模式包括通用属性预测模式；所述根据目标属性数据组的组标识符获取目标属性数据组对应的属性预测关系模式，包括：
    若在与所述点云码流相关联的参数集中添加有携带所述组标识符的第一模式标志字段和第二模式标志字段，则表示具有所述组标识符的所述目标属性数据组对应的属性预测关系模式为所述通用属性预测模式；所述至少两个属性数据组包括与所述目标属性数据组之间满足所述通用属性预测模式的一个或多个待参考属性数据组；
    当所述第一模式标志字段的字段值为第一标志值，且所述第二模式标志字段的字段值为第三标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态，且所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型相同或不相同；
    当所述第一模式标志字段的字段值为第二标志值，且所述第二模式标志字段的字段值为所述第三标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态，且所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型相同；
    当所述第一模式标志字段的字段值为所述第一标志值，且所述第二模式标志字段的字段值为第四标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态，且所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型不相同；
    当所述第一模式标志字段的字段值为所述第二标志值，且所述第二模式标志字段的字段值为所述第四标志值时，表示所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测关闭状态，且所述一个或多个待参考属性数据组对应的属性类型与所述目标属性数据组对应的属性类型相同或不相同。
  24. 根据权利要求1所述的方法，与所述点云码流相关联的属性头信息中包含通用属性参数；所述通用属性参数不依赖于属性类型判断条件；
    当所述通用属性参数与属性类型无关时，所述组标识符用于对与所述目标属性数据组相关联的通用属性参数进行标识；所述通用属性参数包括长度控制参数，所述长度控制参数用于表示控制零游程的长度；
    当所述通用属性参数与属性类型相关，且存在与所述通用属性参数相关的属性类型，且所述通用属性参数的字段中未标识有属性类型时，所述组标识符用于对与所述目标属性数据组相关联的通用属性参数进行标识；所述通用属性参数包括通用属性编码排序参数和通用属性编码指数哥伦布阶数。
  25. 根据权利要求1所述的方法，与所述点云码流相关联的属性头信息中包含通用属性参数；所述通用属性参数依赖于属性类型判断条件；
    当所述通用属性参数与属性类型相关，且存在与所述通用属性参数相关的属性类型，且所述通用属性参数的字段中标识有属性类型时，所述组标识符用于对与所述目标属性数据组相关联的通用属性参数进行标识；所述通用属性参数包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。
  26. 根据权利要求25所述的方法，当所述通用属性参数与属性类型相关，且存在与所述通用属性参数相关的属性类型，且相同的属性类型对应相同的通用属性参数时，所述通用属性参数不携带所述组标识符进行标识；所述通用属性参数包括颜色属性对应的颜色属性编码排序参数和颜色属性对应的颜色属性编码指数哥伦布阶数，以及反射率属性对应的反射率属性编码排序参数和反射率属性对应的反射率属性编码指数哥伦布阶数。
  27. 根据权利要求1述的方法，与所述点云码流相关联的属性头信息中包含通用参数；所述通用参数的表示形式为原始形式或幂指数形式；所述幂指数形式包括第一幂指数形式和第二幂指数形式；
    当所述通用参数的表示形式为所述原始形式时，具有所述原始形式的通用参数的取值为L，L为正整数；
    当所述通用参数的表示形式为所述第一幂指数形式时，具有所述第一幂指数形式的通用参数的取值为L1，且L＝2L1；L1为小于L的非负整数；
    当所述通用参数的表示形式为所述第二幂指数形式时，具有所述第二幂指数形式的通用参数的取值为L2，且L＝2L2+L3；L2、L3均为小于L的非负整数，L3为固定常量，且L2+L3＝L1。
  28. 一种沉浸媒体的数据处理方法，所述方法由内容制作设备执行，所述方法包括：
    在对包含至少两个属性数据组的点云数据进行编码时，根据目标属性数据组的组标识符确定所述目标属性数据组对应的属性预测关系模式；所述目标属性数据组为所述至少两个属性数据组中待编码的属性数据组，所述至少两个属性数据组包括与所述目标属性数据组之间满足所述属性预测关系模式的一个或多个待参考属性数据组；
    当所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态时，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；所述参考属性数据组用于参与对所述目标属性数据组的编码或者不参与对所述目标属性数据组的编码。
  29. 一种沉浸媒体的数据处理装置，包括：
    模式获取模块，用于在对包含至少两个属性数据组的点云码流进行解码时，根据目标属性数据组的组标识符获取所述目标属性数据组对应的属性预测关系模式；所述目标属性数据组为所述至少两个属性数据组中待解码的属性数据组，所述至少两个属性数据组包括与所述目标属性数据组之间满足所述属性预测关系模式的一个或多个待参考属性数据组；
    参考确定模块，用于当所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态时，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；所述参考属性数据组用于参与对所述目标属性数据组的解码或者不参与对所述目标属性数据组的解码。
  30. 一种沉浸媒体的数据处理装置，包括：
    模式确定模块，用于在对包含至少两个属性数据组的点云数据进行编码时，根据目标属性数据组的组标识符确定所述目标属性数据组对应的属性预测关系模式；所述目标属性数据组为所述至少两个属性数据组中待编码的属性数据组，所述至少两个属性数据组包括与所述目标属性数据组之间满足所述属性预测关系模式的一个或多个待参考属性数据组；
    参考确定模块，用于当所述目标属性数据组针对所述一个或多个待参考属性数据组的预测状态为预测开启状态时，在所述一个或多个待参考属性数据组中确定所述目标属性数据组对应的参考属性数据组；所述参考属性数据组用于参与对所述目标属性数据组的编码或者不参与对所述目标属性数据组的编码。
  31. 一种计算机设备，包括：处理器和存储器；
    所述处理器与所述存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使所述计算机设备执行权利要求1-28任一项所述的方法。
  32. [根据细则91更正 28.06.2023]
    一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使具有所述处理器的计算机设备执行权利要求1-28任一项所述的方法。
  33. 一种包括计算机程序的计算机程序产品，当其在计算机上运行时，使得所述计算机执行权利要求1-28任一项所述的方法。
PCT/CN2023/098811 2022-08-18 2023-06-07 一种沉浸媒体的数据处理方法、装置、设备、介质和产品 WO2024037137A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210995023.5A CN115396645B (zh) 2022-08-18 2022-08-18 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN202210995023.5 2022-08-18

Publications (1)

Publication Number Publication Date
WO2024037137A1 true WO2024037137A1 (zh) 2024-02-22

Family

ID=84120400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/098811 WO2024037137A1 (zh) 2022-08-18 2023-06-07 一种沉浸媒体的数据处理方法、装置、设备、介质和产品

Country Status (2)

Country Link
CN (1) CN115396645B (zh)
WO (1) WO2024037137A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396645B (zh) * 2022-08-18 2024-04-19 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN117834833A (zh) * 2022-08-19 2024-04-05 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004885A (ko) * 2019-07-03 2021-01-13 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113852829A (zh) * 2021-09-01 2021-12-28 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质
CN113992635A (zh) * 2021-10-20 2022-01-28 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质
WO2022062860A1 (zh) * 2020-09-25 2022-03-31 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114793484A (zh) * 2020-11-24 2022-07-26 浙江大学 点云编码方法、点云解码方法、装置及存储介质
CN115396645A (zh) * 2022-08-18 2022-11-25 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971906B (zh) * 2018-09-29 2021-11-30 上海交通大学 层级化的点云码流封装方法和系统
CN110971912B (zh) * 2018-09-30 2022-04-29 华为技术有限公司 点云编解码方法、编解码器、编解码装置和存储介质
CN113327279B (zh) * 2021-08-04 2021-09-28 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN116962756A (zh) * 2022-04-26 2023-10-27 腾讯科技（深圳）有限公司 沉浸媒体的处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004885A (ko) * 2019-07-03 2021-01-13 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022062860A1 (zh) * 2020-09-25 2022-03-31 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
CN114793484A (zh) * 2020-11-24 2022-07-26 浙江大学 点云编码方法、点云解码方法、装置及存储介质
CN113852829A (zh) * 2021-09-01 2021-12-28 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质
CN113992635A (zh) * 2021-10-20 2022-01-28 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及存储介质
CN115396645A (zh) * 2022-08-18 2022-11-25 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115396645A (zh) 2022-11-25
CN115396645B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
WO2024037137A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、介质和产品
WO2023029858A1 (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
WO2024037247A1 (zh) 一种点云媒体的数据处理方法及相关设备
WO2024060793A1 (zh) 一种点云媒体的数据处理方法及相关设备
WO2023061131A1 (zh) 媒体文件封装方法、装置、设备及存储介质
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
WO2024041238A1 (zh) 一种点云媒体的数据处理方法及相关设备
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
WO2022116822A1 (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
WO2023169001A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN116456166A (zh) 媒体数据的数据处理方法及相关设备
WO2023169004A1 (zh) 点云媒体的数据处理方法、装置、设备及介质
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
CN115733576B (zh) 点云媒体文件的封装与解封装方法、装置及存储介质
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
US20230360678A1 (en) Data processing method and storage medium
WO2023024843A1 (zh) 媒体文件封装与解封装方法、设备及存储介质
US20230239453A1 (en) Method, an apparatus and a computer program product for spatial computing service session description for volumetric extended reality conversation
CN117435146A (zh) 码流生成方法、系统及装置、电子设备和存储介质
CN116980637A (zh) 直播数据的处理系统、电子设备、存储介质及程序产品
Wu et al. Virtual walk-through of Dunhuang Panorama-based on web

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23854043

Country of ref document: EP

Kind code of ref document: A1