WO2020135527A1 - 多媒体数据处理 - Google Patents
多媒体数据处理 Download PDFInfo
- Publication number
- WO2020135527A1 WO2020135527A1 PCT/CN2019/128377 CN2019128377W WO2020135527A1 WO 2020135527 A1 WO2020135527 A1 WO 2020135527A1 CN 2019128377 W CN2019128377 W CN 2019128377W WO 2020135527 A1 WO2020135527 A1 WO 2020135527A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- multimedia data
- track
- frame
- encoded
- data stream
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 59
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000003672 processing method Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000005538 encapsulation Methods 0.000 claims description 70
- 230000005540 biological transmission Effects 0.000 claims description 44
- 238000013480 data collection Methods 0.000 claims description 44
- 239000002131 composite material Substances 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 28
- 238000004806 packaging method and process Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 22
- 101001073193 Homo sapiens Pescadillo homolog Proteins 0.000 description 6
- 102100035816 Pescadillo homolog Human genes 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 101000857634 Homo sapiens Receptor-transporting protein 1 Proteins 0.000 description 2
- 102100025426 Receptor-transporting protein 1 Human genes 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
Definitions
- This application relates to video surveillance technology, and in particular to multimedia data processing.
- the present application provides a multimedia data processing method, device, electronic device, and readable storage medium.
- a multimedia data processing method is provided, which is applied to a sending-end device.
- the method includes:
- Transmitting the multimedia data stream to the receiving end device decapsulates the multimedia data stream to obtain encoded multimedia data of each track, and encodes the encoded multimedia data of each track based on the synchronization information Be processed.
- a multimedia data processing method is provided, which is applied to a receiving end device, and is characterized in that the method includes:
- the multimedia data stream includes encoded multimedia data of multiple tracks, and synchronization information for synchronizing the encoded multimedia data of each track, wherein the encoded multimedia data of each track is for The data obtained by encoding the multimedia data of each track separately;
- the encoded multimedia data of each track is processed based on the synchronization information.
- a multimedia data processing apparatus which is applied to a sending-end device, and the apparatus includes:
- An obtaining unit used to obtain the encoded multimedia data of each track
- An encapsulation unit for encapsulating the encoded multimedia data of the multiple tracks into a single multimedia data stream
- the multimedia data stream includes the encoded multimedia data of each track, and synchronization information for synchronizing the encoded multimedia data of each track;
- the transmission unit is used to transmit the multimedia data stream to the receiving end device, and the receiving end device decapsulates the multimedia data stream to obtain encoded multimedia data for each track, and based on the synchronization information for each Track encoded multimedia data for processing.
- a multimedia data processing apparatus which is applied to a receiving end device, and the apparatus includes:
- a receiving unit configured to receive a multimedia data stream sent by a sending end device;
- the multimedia data stream includes encoded multimedia data of multiple tracks, and synchronization information for synchronizing the encoded multimedia data of each track, wherein the encoding of each track
- Multimedia data is data obtained by separately encoding multimedia data for each track;
- a decapsulation unit used to decapsulate the multimedia data stream to obtain encoded multimedia data of each track
- the processing unit is configured to process the encoded multimedia data of each track based on the synchronization information.
- an electronic device including a processor, a communication interface, a storage medium, and a communication bus, wherein the processor, the communication interface, and the storage medium complete communication with each other through the communication bus;
- Storage medium for storing machine executable instructions
- the processor is configured to implement the multimedia data processing method provided in the first aspect when executing the machine-executable instructions stored on the storage medium.
- a machine-readable storage medium in which machine-executable instructions are stored, and the machine-executable instructions are implemented by a processor to implement the first aspect. Multimedia data processing method.
- an electronic device including a processor, a communication interface, a storage medium, and a communication bus, wherein the processor, the communication interface, and the storage medium complete communication with each other through the communication bus;
- Storage medium for storing machine executable instructions
- the processor is configured to implement the multimedia data processing method provided in the second aspect when executing the machine-executable instructions stored on the storage medium.
- a machine-readable storage medium in which machine-executable instructions are stored, and the machine-executable instructions are implemented by a processor to implement the second aspect. Multimedia data processing method.
- the encoded multimedia data of multiple tracks is encapsulated into a single multimedia data stream by the transmitting device, and the multimedia data stream is transmitted to the receiving device, and the multimedia data stream is deciphered by the receiving device Encapsulation, to obtain the encoded multimedia data of each track, and process the encoded multimedia data of each track, while ensuring the synchronization of the multimedia data of multiple tracks, reduce the performance requirements of the encoding end device and the decoding end device, and expand The applicable scenario of the program.
- FIG. 1 is a schematic structural diagram of a multimedia data processing system according to an exemplary embodiment of the present application.
- FIG. 2 is a schematic flowchart of a multimedia data processing method according to an exemplary embodiment of the present application.
- FIG. 3 is a schematic flowchart of a multimedia data processing method according to an exemplary embodiment of the present application.
- 4A is a schematic diagram of a common RTP package.
- FIG. 4B is a schematic diagram of encapsulation of a multimedia data stream, such as an RTP stream, according to an exemplary embodiment of the present application.
- FIG. 4C is a schematic flowchart of an NVR processing a received RTP stream according to an exemplary embodiment of the present application.
- Figure 4D is a schematic diagram of an ordinary PES package.
- FIG. 4E is a schematic diagram of encapsulation of a multimedia data stream, such as a PES stream, according to an exemplary embodiment of the present application.
- Fig. 4F is a schematic diagram showing a NVR stitching and displaying video images according to an exemplary embodiment of the present application.
- FIG. 5 is a schematic structural diagram of a multimedia data processing device according to an exemplary embodiment of the present application.
- FIG. 6 is a schematic structural diagram of a multimedia data processing apparatus according to another exemplary embodiment of the present application.
- FIG. 7 is a schematic diagram of a hardware structure of an electronic device shown in an exemplary embodiment of the present application.
- FIG. 8 is a schematic structural diagram of a multimedia data processing apparatus according to an exemplary embodiment of the present application.
- FIG. 9 is a schematic structural diagram of a multimedia data processing apparatus according to another exemplary embodiment of the present application.
- Fig. 10 is a schematic structural diagram of a multimedia data processing apparatus according to another exemplary embodiment of the present application.
- FIG. 11 is a schematic diagram of a hardware structure of an electronic device shown in an exemplary embodiment of the present application.
- FIG. 1 is a schematic structural diagram of a multimedia data processing system according to an embodiment of the present application.
- the multimedia data processing system may include a sending device 101 and a receiving device 102.
- the sending device 101 can encapsulate multiple tracks of multimedia data into a single multimedia data stream, and send the multimedia data stream to the receiving device 102.
- multiple tracks may be understood as “multi-channel”, “multi-channel”, etc., and are used to illustrate that the multimedia data received by the sending-end device 101 may come from different data sources.
- the sending end device 101 may acquire multimedia data of multiple tracks from a single target multimedia data collection device.
- the target multimedia data collection device can be integrated with multiple sensors, and the multiple sensors can shoot the same scene, and each sensor can shoot to obtain a track of multimedia data.
- the sending-end device 101 may acquire multimedia data of multiple tracks from multiple target multimedia data collection devices.
- the multiple target multimedia data collection devices are not fixed, but can be specified according to the requirements in the monitoring scene to cooperate with video monitoring to achieve a larger monitoring range.
- the multimedia data collected by the multiple target multimedia data collection devices needs to be stitched before being played.
- the sending-end device 101 may acquire super-resolution multimedia data stored locally or collected in real time, and divide the acquired super-resolution multimedia data according to a preset number of tracks to obtain multimedia data of multiple tracks.
- the sending-end device 101 may also receive a multimedia data stream encapsulated according to a preset transmission encapsulation protocol, and decapsulate the received multimedia data stream to obtain multimedia data of multiple tracks.
- the sending-end device 101 may also decapsulate the locally stored multimedia data stream encapsulated according to a preset storage encapsulation protocol to obtain multimedia data of multiple tracks.
- the multimedia data acquired by the sending end device can also be processed according to specific requirements.
- the multimedia data collection device has multiple sensors integrated to shoot the same scene. After acquiring multiple images of the same scene captured by multiple sensors from different angles, it may be necessary to extract images containing specific objects (eg, images containing "cars") from the captured multiple images for transmission . In this case, each image can be cut separately to obtain an effective image containing a specific object "car”. At this time, the image data of each image obtained by cutting is multimedia data of multiple tracks.
- the multimedia data stream may include multimedia data of each track.
- the multimedia data of each track may be multimedia data collected at the same time or multimedia data collected at different times.
- the present disclosure does not Limit it.
- the same time is not limited to the exact same time, and a preset error (which can be determined according to the actual scene, such as 2 milliseconds, 5 milliseconds, etc.) may be allowed.
- multimedia data 1 and multimedia Data 2 is determined to be multimedia data collected by the multimedia data collection device A and the multimedia data collection device B at the same time.
- the encapsulated multimedia data stream also carries synchronization information for multimedia data synchronization of each track.
- the multimedia data of each track can be synchronized with each other to facilitate data recovery at the decoding end.
- the synchronization information will be described in detail below.
- the multimedia data of each track are respectively encoded multimedia data.
- the encoding operation of the multimedia data can be performed by the sending end device. For example, after acquiring the multimedia data of each track, the transmitting-end device 101 encodes the multimedia data of each track, and then encapsulates the encoded multimedia data of each track into a single multimedia data stream.
- the encoding operation may also be performed by the multimedia data collection device.
- a multimedia data collection device corresponding to a track encodes the collected data after collecting the multimedia data, and the multimedia data obtained by the sending end device 101 from the multimedia data collection device is the encoded multimedia data of the track.
- the receiving end device 102 when the receiving end device 102 receives the multimedia data stream sent by the sending end device 101, it may decapsulate the multimedia data stream to obtain the encoded multimedia data of each track, and The encoded multimedia data is processed.
- the sender device and the receiver device only refer to the role of the device in different application scenarios, and do not limit the device type. That is, the receiver device in a certain application scenario is used in other applications. It can also be used as the sending device in the scenario.
- the sending device is a multimedia data collection device
- a device with multimedia data storage function such as NVR (Network Video Recorder, network hard disk recorder)
- NVR Network Video Recorder, network hard disk recorder
- the device with the multimedia data storage function can be used as the sending end device to send the multimedia data to the terminal device (as the receiving end device).
- the multimedia data collection device in actual scenarios, it may be a plurality of target multimedia data collection devices that are independently deployed, or an integrated deployment of multimedia data collection devices, such as a dome camera with multiple cameras integrated.
- the sending-end device is, for example, a dome camera
- the multimedia data of multiple tracks acquired by it is image data captured by multiple cameras of itself.
- the sending end can separately encode the multimedia data of multiple tracks, and encapsulate the encoded multimedia data of each track into a single multimedia data stream to send to the decoding end; the decoding end receives The obtained multimedia data stream is decapsulated and then decoded to obtain decoded images of each track, and the obtained decoded images of each track can be spliced.
- this scheme reduces the performance requirements of the encoding end device and the decoding end device.
- FIG. 2 is a schematic flowchart of a multimedia data processing method provided by an embodiment of the present application, where the multimedia data processing method may be applied to a sending end device, as shown in FIG. 2, the multimedia data processing method may include the following step.
- Step S200 Obtain the encoded multimedia data of each track.
- Step S210 Encapsulate the encoded multimedia data of the multiple tracks into a single multimedia data stream, where the multimedia data stream includes the encoded multimedia data of each track and synchronization information for synchronizing the encoded multimedia data of each track.
- Step S220 Transmit the multimedia data stream to the receiving end device, and the receiving end device decapsulates the multimedia data stream to obtain encoded multimedia data of each track, and processes the encoded multimedia data of each track based on synchronization information.
- the multimedia data may include but is not limited to video data, audio data, or picture data.
- the sending device when the sending device receives the instruction to send the multimedia data collected by the target multimedia data collection device to the receiving device, the sending device can encapsulate the multimedia data collected by multiple target multimedia data collection devices into a single Multimedia data stream, and transmit the multimedia data stream to the receiving device.
- the acquiring respective encoded multimedia data of multiple tracks includes: acquiring multimedia data of multiple tracks from a single data collection device, wherein the multimedia data of the multiple tracks is in the data collection device Multi-sensors are set to shoot the multimedia data for the same scene; separately encode the multimedia data of each track to obtain the encoded multimedia data.
- the acquiring the encoded multimedia data of each track includes: acquiring the encoded multimedia data of multiple tracks from multiple data collection devices.
- the acquiring respective encoded multimedia data of multiple tracks includes: dividing the multimedia data according to the number of the tracks to obtain multimedia data of the multiple tracks; and separately analyzing the multimedia data of each track Encoding to obtain the encoded multimedia data.
- the acquiring the encoded multimedia data of each track includes: de-encapsulating the pre-stored multimedia data according to a preset storage and encapsulation protocol to obtain the encoded multimedia data of each track.
- the multimedia data stored locally at the sending end may be data encapsulated according to a preset storage encapsulation protocol.
- the encapsulation operation using the preset storage encapsulation protocol will be described below.
- the encapsulating the encoded multimedia data of multiple tracks into a single multimedia data stream may include: encapsulating the encoded multimedia data of each track into a multimedia data stream according to a preset transmission encapsulation protocol.
- the preset transmission encapsulation protocol may include but not limited to RTP (Real-time Transport Protocol) protocol and the like.
- the sending-end device when the sending-end device is a multimedia data collection device, for example, if the sending-end device is a dome camera integrating multiple cameras, the sending-end device can separately integrate multiple target multimedia data collection devices (such as the integrated dome camera) Multiple cameras) to encode the multimedia data collected, and encapsulate the encoded multimedia data of the multiple target multimedia data collection devices into a multimedia data stream according to a preset transmission encapsulation protocol.
- target multimedia data collection devices such as the integrated dome camera
- Multiple cameras to encode the multimedia data collected, and encapsulate the encoded multimedia data of the multiple target multimedia data collection devices into a multimedia data stream according to a preset transmission encapsulation protocol.
- the foregoing encapsulating multimedia data collected by multiple target multimedia data collection devices into a multimedia data stream may include:
- the encoded multimedia data of each track is encapsulated into a multimedia data stream according to a preset transmission encapsulation protocol.
- the sending end device when the sending end device is a multimedia data storage device, such as an NVR, the sending end device may first decapsulate the stored multimedia data of the multiple target multimedia data collection devices encapsulated according to a preset storage encapsulation protocol To obtain the encoded multimedia data of multiple target multimedia data collection devices, and encapsulate the encoded multimedia data of the multiple target multimedia data collection devices into a multimedia data stream according to a preset transmission encapsulation protocol.
- the preset storage encapsulation protocol may include, but is not limited to, PS (MPEG (Moving Picture Experts Group) Program Stream, a mainstream audio and video data encapsulation method) protocol, etc.
- PS MPEG (Moving Picture Experts Group) Program Stream
- a mainstream audio and video data encapsulation method etc.
- the synchronization information carried in the multimedia data stream is synthetic frame information
- the synthetic frame information may include but is not limited to: packet type identification, frame start identification, frame end identification, frame type identification, composite frame sequence number, The total number of tracks in the composite frame.
- the data packet type identifier is used to identify the type of the data packet carried in the multimedia data stream, which includes but is not limited to video data, audio data, or picture data;
- the start of frame identifier is used to identify whether the data packet carried in the multimedia data stream is the start of frame data packet
- the end-of-frame identification is used to identify whether the data packet carried in the multimedia data stream is the end-of-frame data packet
- the frame type identifier is used to identify the frame type corresponding to the data packet carried in the multimedia data stream.
- video frames it may include, but is not limited to, I frames, P frames, or B frames;
- the synthesized frame sequence number is used to identify the track where the data packet carried in the multimedia data stream is located (one track for each target multimedia data collection device);
- the total number of tracks of the synthesized frame is used to identify the data carried by several tracks in the multimedia data stream (that is, the multimedia data of several target multimedia data collection devices).
- the synthesized frame information may be carried in the header of each data packet.
- the synthesized frame information can be carried in the RTP header of each RTP packet, and the receiving end device can determine that it belongs to the same multimedia data stream according to the synthesized frame information carried in the RTP header of the RTP packet.
- the above limitation on the content of the synthesized frame information is only a specific example in the present application, and does not belong to the limitation on the protection scope of the present application.
- the synthesized frame information may not include the frame start identifier and the frame end identifier; or, the multimedia data stream
- the data packets corresponding to the images collected by the multiple cameras at the same time are uniformly numbered, and the multimedia data collection device corresponding to each data packet can be directly determined according to the packet sequence number, without the need to additionally carry the synthetic frame sequence number.
- packets with sequence numbers 0 to 3 correspond to the packets of camera 1; packets with sequence numbers 4 to 7 correspond to the image of camera 2.
- Packets 8 to 11 are the data packets corresponding to the image of the camera 3, and the specific implementation thereof will not be repeated here.
- FIG. 3 is a schematic flowchart of a multimedia data processing method according to an embodiment of the present application.
- the multimedia data processing method may be applied to a receiving device.
- the multimedia data processing method may include the following step.
- Step S300 Receive a multimedia data stream sent by the sending end device; wherein the multimedia data stream includes encoded multimedia data of multiple tracks and synchronization information for synchronizing the encoded multimedia data of each track, wherein the encoded multimedia data of each track Data obtained by separately encoding multimedia data for each track.
- Step S310 Decapsulate the multimedia data stream to obtain encoded multimedia data of each track.
- Step S320 Process the encoded multimedia data of each track based on the synchronization information.
- the receiving end device when the receiving end device receives the multimedia data stream sent by the sending end device, it can decapsulate the multimedia data stream to obtain the encoded multimedia data of multiple tracks, and based on the synchronization information to each track The encoded multimedia data is processed.
- processing of the encoded multimedia data by the receiving end device may include, but is not limited to, segmentation, display, transmission, and/or storage.
- the multimedia data is video data.
- the above processing of the encoded multimedia data of each track based on the synchronization information may include:
- the receiving end device may first decode the encoded video frame of each track.
- the synchronization information may include composite frame information carried in a data packet of a multimedia data stream
- the composite frame information may include at least one of the following: a packet type identifier, a frame start identifier and a frame end identifier, a frame type identifier, a composite frame sequence number, and a total frame track number.
- the decoding of the encoded multimedia data of each track based on the synchronization information includes:
- the receiving end device may determine whether the data in the multimedia data stream is video data according to the packet type identifier in the multimedia data stream (such as carried in the encapsulation header of the multimedia data stream); for video data, the receiving end The device may determine the data packet corresponding to the video frame of the same track according to the composite frame sequence number, and obtain the complete video frame of the same track according to the frame start identifier and the frame end identifier.
- the receiving end device When the receiving end device obtains the complete video frame of each track, it can decode the complete video frame of each track separately.
- multiple parallel decoders may be used to decode the encoded multimedia data of multiple tracks.
- the correspondence between tracks and decoders can be configured, one track corresponds to one decoder, and the receiving end device can send multimedia data to the corresponding decoder for decoding according to the track where the multimedia data is located.
- the receiving end device decodes the video of each track to obtain a decoded video image; cuts the decoded video image according to preset conditions to obtain a cut video image;
- the video images are individually encoded to obtain the encoded video data of each track;
- the encoded video data of each track is encapsulated into a single multimedia video stream according to a preset storage encapsulation protocol for storage, or encapsulated according to a preset transmission encapsulation protocol for network transmission.
- the receiving device can analyze whether the video images meet the requirements. For example, whether each image contains a specific object (for example, a car). It is possible to encapsulate only images containing specific objects. Alternatively, the image can be cut to retain only the part containing the specific object, and then the cut image is encoded, and then the encoded data is encapsulated according to a preset packaging protocol. The encapsulated data stream can be stored locally or transmitted over the network.
- a specific object for example, a car
- the receiving end device after the receiving end device decodes the video images of each track, it can determine the position information of each video image in the mosaic according to the track where the decoded video image is located and the width and height of the decoded video image , And stitch and display the decoded video image according to the location information.
- the receiving end device after the receiving end device stitches the video images of each track, it can also zoom the stitched video image according to the set output resolution, and perform the zooming on the stitched image. display.
- the decoded video image after the receiving end device obtains the decoded video image, before stitching the decoded video image, the decoded video image may be scaled according to actual requirements, and the scaled video The images are spliced and displayed, and the specific implementation thereof will not be repeated here.
- the above-mentioned decoding of the complete video frames of each track through multiple parallel decoders is only a specific example of decoding the video frames of the multimedia data collection device, and does not belong to the present application.
- Limitation of protection scope that is, the complete video frame can also be decoded in other ways, for example, the complete video frame of each track can be serially decoded by a single decoder; or multiple decoders can be used for parallel decoding, one decoding
- the device can correspond to multiple target multimedia data collection devices, the specific implementation of which will not be repeated here.
- the above synchronization information includes the synthesized frame information carried in the data packet of the multimedia data stream; the above processing of the encoded multimedia data of each track based on the synchronization information may include:
- the receiver device after the receiver device receives the multimedia data stream sent by the sender device and decapsulates the encoded multimedia data of each track, it can send the encoded multimedia data of each track to other devices (in this case The receiving device also serves as the sending device).
- the receiving end device may encapsulate the encoded multimedia data of each track into a single multimedia data stream according to a preset transmission encapsulation protocol, and perform network transmission on the multimedia data stream encapsulated according to the preset transmission encapsulation protocol.
- the synchronization information includes the synthesized frame information carried in the data packet of the multimedia data stream; the processing of the encoded multimedia data of each track based on the synchronization information includes:
- the multimedia data stream encapsulated according to the preset storage encapsulation protocol is stored.
- the encoded multimedia data of each track may be stored.
- the receiving end device may encapsulate the encoded multimedia data of each track into a multimedia data stream according to a preset storage encapsulation protocol, and store the multimedia data stream encapsulated according to the preset storage encapsulation protocol.
- the sending device is a dome camera with multiple cameras
- the receiving device is NVR
- the preset transmission encapsulation protocol is RTP
- the preset storage encapsulation protocol is PS.
- the video data collected by multiple cameras can be packaged into a multimedia data stream (hereinafter referred to as multimedia data RTP stream) according to the RTP protocol.
- multimedia data RTP stream a multimedia data stream
- ordinary RTP encapsulation is performed in a 4-byte alignment mode.
- the RTP packet needs to be filled; where the length of the filled bytes can be 1, 2 Or 3 bytes.
- the multimedia data RTP stream uses the padding field in the common RTP header, and at least 4 bytes are filled.
- the schematic diagram can be as shown in FIG. 4B.
- These bytes include MFI (Multiple Frame Indicator). Information) byte, the MFI byte includes the packet type (audio or video, etc.) identification, frame start identification, frame end identification, frame type (I frame, P frame%) identification, synthetic frame sequence number (use this to confirm the packet The track where it is) and the total number of tracks in the synthesized frame.
- the multimedia data stream of n tracks is RTP0 header+RTP0 payload(load)+MFI0+RTP1 header+RTP1 payload+MFI1+RTPn header+...+RTPn payload+MFIn.
- the data packet type identifier can have at least 4 values, which are used to identify video, audio, private frames, etc.;
- the frame start identifier may have at least 2 values, which are used to identify whether the data packet is a data packet at the beginning of the frame;
- the identifier "1" indicates that the data packet is the data packet at the beginning of the frame
- the identifier "0" indicates that the data packet is not the data packet at the beginning of the frame.
- the end-of-frame identification may have at least 2 values, which are used to identify whether the data packet is an end-of-frame data packet, respectively;
- the identifier "1" indicates that the data packet is an end-of-frame data packet
- the identifier "0" indicates that the data packet is not an end-of-frame data packet.
- the frame type identifier may have at least 4 values, which are used to identify the I frame, P frame or B frame respectively when the packet type is video;
- the composite frame number is used to identify the track where the data packet is (one camera corresponds to one track);
- the total number of tracks in the composite frame is used to identify the total number of tracks.
- the information included in the MFI byte is not limited to the above information.
- the MFI byte may also include the position information of each track image in the mosaic in the multimedia data stream.
- the receiving end device can splice the images of each track according to the position information of each track image included in the MFI byte in the mosaic map, which is specifically implemented in I will not repeat them here.
- the multimedia data RTP stream can be sent to the NVR.
- the NVR After receiving the multimedia data RTP stream, the NVR can unpack, strip the encapsulated data header, obtain each track code stream, and perform display, storage or network transmission processing according to requirements.
- the schematic diagram can be shown in FIG. 4C.
- the NVR After the NVR decapsulates the multimedia data RTP stream to obtain each track code stream (ES stream), the NVR can encapsulate each track code stream into a multimedia data PS stream and store it.
- FIG. 4D is a schematic diagram of an ordinary PES package.
- MFI information is added to the stuff field of the PES header encapsulated by the ordinary PS, and the load information is encapsulated later.
- the schematic diagram may be as shown in FIG. 4E.
- the multimedia data stream of n tracks is PES0 header+MFI0+PES0 payload+PES1 header+MFI1+PES1 payload+...+PESn header+MFIn+PESn payload, so that the coded streams from different cameras are combined into a multimedia data stream (also Called "multi-track flow").
- the NVR After the NVR decapsulates the multimedia data RTP stream to obtain each track code stream, the NVR can re-encapsulate each track code stream into a multimedia data RTP stream and perform network transmission.
- the NVR decapsulates the multimedia data RTP stream to obtain each track code stream
- the frame type, track number, frame start, and frame end of the track are determined according to the MFI information.
- the NVR can determine the position of the video image of a single track in the mosaic according to the track number and the corresponding width and height of the frame obtained by the package analysis.
- multiple track code streams are decoded in parallel by multiple decoders. After parsing into multiple track ES streams, the ES stream with the same track number is decoded with the same decoder, and the decoded video image is stitched according to the position of the track and displayed.
- the NVR can decode the ES streams of each track synchronously (parallel decoding) after parsing multiple track ES streams.
- the processing flow of accessing the code stream to the decoding and splicing display may include:
- the access code stream Sn-i (n: the number of streams of the multimedia data stream; i: packet sequence number), stripping the encapsulation information, parsing the MFI to obtain the frame type (I frame, P frame or B frame), where Track, and frame start identification, frame end identification and other information, so as to get the En-i (I frame, P frame..., n: the number of streams of the multimedia data stream; i: packet sequence number) naked stream for each track.
- the En-i bare stream is assembled into a complete frame, it is sent to the parallel decoder n (nth decoder) according to the track where it is decoded, and the video image n (the decoded image data of the nth track is obtained) ).
- Each video image obtains the position of each video image in the mosaic according to the track information and width and height information obtained in step 1, and performs image stitching according to the position to obtain a complete video image.
- the complete video image is reduced or enlarged according to the output resolution and output to the monitor for display.
- the sending end device may encapsulate multiple tracks of multimedia data into a single multimedia data stream, and transmit the multimedia data stream to the receiving end device.
- the receiving end device decapsulates the multimedia data stream to obtain the encoded multimedia data of each track, and processes the encoded multimedia data of each track. In this way, in the case of ensuring the synchronization of multimedia data of multiple tracks, the performance requirements of the encoding end device and the decoding end device are reduced, and the applicable scenarios of the solution are expanded.
- FIG. 5 is a schematic structural diagram of a multimedia data processing apparatus according to an embodiment of the present application, where the multimedia data processing apparatus may be applied to the sending end device in the foregoing method embodiment, as shown in FIG. 5, the multimedia The data processing device may include:
- the obtaining unit 500 is used to obtain the encoded multimedia data of each track
- An encapsulating unit 510 configured to encapsulate the encoded multimedia data of the multiple tracks into a single multimedia data stream, wherein the multimedia data stream includes the encoded multimedia data of each track and the encoding of each track Synchronization information of multimedia data synchronization;
- the transmission unit 520 is configured to transmit the multimedia data stream to the receiving end device, and the receiving end device decapsulates the multimedia data stream to obtain encoded multimedia data of each track, and based on the synchronization information The encoded multimedia data of each track is processed.
- the device further includes an encoding unit 530,
- the acquiring unit 500 is specifically configured to acquire multimedia data of multiple tracks from a single data collection device, where the multimedia data of the multiple tracks is multimedia data taken by multiple sensors provided in the data collection device for the same scene;
- the encoding unit 530 is configured to separately encode the multimedia data of each track to obtain the encoded multimedia data.
- the acquiring unit 500 is specifically configured to acquire encoded multimedia data of multiple tracks from multiple data collection devices.
- the obtaining unit 500 is specifically configured to divide multimedia data according to the number of the tracks to obtain multimedia data of the multiple tracks;
- the encoding unit 530 is configured to encode the multimedia data of each track to obtain the encoded multimedia data.
- the encapsulation unit 510 is specifically configured to decapsulate pre-stored multimedia data according to a preset storage encapsulation protocol to obtain the encoded multimedia data of each track.
- the encapsulation unit 510 is further specifically configured to encapsulate the encoded multimedia data of each track into the single multimedia data stream according to a preset transmission encapsulation protocol.
- the synchronization information includes synthesized frame information carried in a data packet of the multimedia data stream
- the composite frame information includes at least one of the following: a packet type identifier, a frame start identifier and a frame end identifier, a frame type identifier, a composite frame number, and a total number of composite frame tracks.
- FIG. 7 is a schematic diagram of a hardware structure of an electronic device provided by an embodiment of the present application.
- the electronic device may include a processor 701, a communication interface 702, a storage medium 703, and a communication bus 704.
- the processor 701, the communication interface 702, and the storage medium 703 communicate with each other through the communication bus 704.
- the machine executable instructions are stored on the storage medium 703; the processor 701 can execute the multimedia data processing method shown in FIG. 2 by executing the machine executable instructions stored on the storage medium 703.
- the storage medium 703 mentioned herein may be any electronic, magnetic, optical, or other physical storage device, and may contain or store information, such as executable instructions, data, and so on.
- the storage medium 702 may be: RAM (Radom Access Memory, random access memory), volatile memory, non-volatile memory, flash memory, storage drive (such as a hard disk drive), solid-state drive, any type of storage disk (such as CD-ROM, DVD, etc.), or similar storage media, or a combination thereof.
- An embodiment of the present application further provides a machine-readable storage medium storing machine-executable instructions, such as the storage medium 703 in FIG. 7, and the machine-executable instructions may be executed by the processor 701 in the electronic device shown in FIG. 7 In order to realize the multimedia data processing method shown in FIG. 2.
- FIG. 8 is a schematic structural diagram of a multimedia data processing apparatus according to an embodiment of the present application.
- the multimedia data processing apparatus may be applied to the receiving device in the foregoing method embodiment.
- the multimedia The data processing device may include:
- the receiving unit 810 is configured to receive a multimedia data stream sent by a sending-end device; wherein the multimedia data stream includes encoded multimedia data of multiple tracks and synchronization information for synchronizing the encoded multimedia data of each track, wherein each The encoded multimedia data of the track is data obtained by separately encoding the multimedia data of each track;
- the decapsulation unit 820 is used to decapsulate the multimedia data stream to obtain encoded multimedia data of each track;
- the processing unit 830 is configured to process the encoded multimedia data of each track based on the synchronization information.
- the multimedia data is video data
- the processing unit 830 is specifically configured to decode the encoded video frames of each track based on the synchronization information to obtain a decoded video image; and process the decoded video image.
- the synchronization information includes synthesized frame information carried in a data packet of a multimedia data stream
- the composite frame information includes at least one of the following: a packet type identifier, a frame start identifier and a frame end identifier, a frame type identifier, a composite frame number, and a total number of tracks of the composite frame;
- the processing unit 830 is specifically configured to obtain the complete video frame of each track according to the packet type identifier, the frame start identifier, the frame end identifier, and the synthesized frame sequence number; and decode the complete video frame of each track.
- the processing unit 830 is specifically configured to decode a complete video frame of each track through multiple parallel decoders.
- the processing unit 830 is specifically configured to send the complete video frame of each track to the corresponding decoder for decoding.
- the processing unit 830 is specifically configured to determine the stitching position information of each video image according to the track where the decoded video image is located and the width and height of the decoded video image; The position information stitches the decoded video image to obtain a stitched video image; and displays the stitched video image.
- processing unit 830 is further configured to scale the stitched video image according to the output resolution
- the processing unit 830 is also specifically used to display the zoomed mosaic video image.
- the device further includes: a first packaging unit 840;
- the synchronization information includes synthesized frame information carried in a data packet of the multimedia data stream;
- the first encapsulation unit 840 is configured to encapsulate the encoded multimedia data of each track into a single multimedia data stream according to a preset transmission encapsulation protocol, where the multimedia data stream carries synthesized frame information, and the synthesized frame information includes at least one of the following : Data packet type identification, frame start identification and frame end identification, composite frame sequence number, total frame track number;
- the processing unit 830 is specifically configured to perform network transmission on the multimedia data stream encapsulated according to the preset transmission encapsulation protocol.
- the device further includes: a second packaging unit 850,
- the synchronization information includes synthesized frame information carried in a data packet of the multimedia data stream;
- the second encapsulation unit 850 is further configured to encapsulate the encoded multimedia data of each track into a single multimedia data stream according to a preset storage and encapsulation protocol, where the data packet of the multimedia data stream carries synthesized frame information, and the synthesized frame information includes At least one of the following: packet type identification, frame start identification and frame end identification, composite frame number, and total frame track number;
- the processing unit 830 is specifically configured to store the multimedia data stream encapsulated according to the preset storage encapsulation protocol.
- the processing unit 830 is further specifically configured to: cut the decoded video images of each track according to a preset condition to obtain a cut video image; cut the cut video of each track Images are coded separately to obtain coded video data for each track;
- the first encapsulation unit 840 is specifically configured to encapsulate the encoded video data of each track into a single multimedia video stream according to a preset transmission encapsulation protocol for network transmission, or
- the second encapsulation unit 850 is specifically configured to encapsulate the encoded video data of each track into a single multimedia video stream according to a preset storage encapsulation protocol for storage.
- FIG. 11 is a schematic diagram of a hardware structure of an electronic device provided by an embodiment of the present application.
- the electronic device may include a processor 1101, a communication interface 1102, a storage medium 1103, and a communication bus 1104.
- the processor 1101, the communication interface 1102, and the storage medium 1103 communicate with each other through the communication bus 1104.
- the machine executable instructions are stored on the storage medium 1103; the processor 1101 can execute the multimedia data processing method shown in FIG. 3 by executing the machine executable instructions stored on the storage medium 1103.
- the storage medium 1103 mentioned herein may be any electronic, magnetic, optical, or other physical storage device, and may contain or store information, such as executable instructions, data, and so on.
- the storage medium 1103 may be: RAM (Radom Access Memory, random access memory), volatile memory, non-volatile memory, flash memory, storage drive (such as a hard disk drive), solid-state drive, any type of storage disk (such as CD-ROM, DVD, etc.), or similar storage media, or a combination thereof.
- An embodiment of the present application further provides a machine-readable storage medium storing machine-executable instructions, such as the storage medium 1103 in FIG. 11, and the machine-executable instructions may be executed by the processor 1101 in the electronic device shown in FIG. 11 In order to realize the multimedia data processing method shown in FIG. 3.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供一种多媒体数据处理方法、装置、电子设备及可读存储介质，该方法包括：获取多个轨道各自的编码多媒体数据；将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
Description
本申请涉及视频监控技术，尤其涉及多媒体数据处理。
随着视频监控技术的发展，视频监控的应用越来越广泛。对于机场、车站、体育馆、操场、景区、广场等需要大范围监控的场景，可以使用多个摄像机以不同角度监控，将多个摄像机采集的视频图像拼接为一个图像帧组再进行编码传输，后端设备对接收的编码图像进行解码显示。
然而，因为拼接后的图像分辨率高，提高了编码性能要求，而解码端显示也提高了对解码性能要求，进而提高了整个系统的成本。
发明内容
有鉴于此，本申请提供一种多媒体数据处理方法、装置、电子设备及可读存储介质。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种多媒体数据处理方法，应用于发送端设备，该方法包括：
获取多个轨道各自的编码多媒体数据；
将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；
将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
根据本申请实施例的第二方面，提供一种多媒体数据处理方法，应用于接收端设备，其特征在于，该方法包括：
接收发送端设备发送的多媒体数据流；所述多媒体数据流包括多个轨道的编码多媒体数据，以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据；
对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据；
基于所述同步信息对各个轨道的编码多媒体数据进行处理。
根据本申请实施例的第三方面，提供一种多媒体数据处理装置，应用于发送端设备，该装置包括：
获取单元，用于获取多个轨道各自的编码多媒体数据；
封装单元，用于将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，
其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；
传输单元，用于将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述 多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
根据本申请实施例的第四方面，提供一种多媒体数据处理装置，应用于接收端设备，该装置包括：
接收单元，用于接收发送端设备发送的多媒体数据流；所述多媒体数据流包括多个轨道的编码多媒体数据，以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据；
解封装单元，用于对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据；
处理单元，用于基于所述同步信息对各个轨道的编码多媒体数据进行处理。
根据本申请实施例的第五方面，提供一种电子设备，包括处理器、通信接口、存储介质和通信总线，其中，处理器，通信接口，存储介质通过通信总线完成相互间的通信；
存储介质，用于存放机器可执行指令；
处理器，用于执行存储介质上所存放的机器可执行指令时，实现第一方面提供的多媒体数据处理方法。
根据本申请实施例的第六方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面提供的多媒体数据处理方法。
根据本申请实施例的第七方面，提供一种电子设备，包括处理器、通信接口、存储介质和通信总线，其中，处理器，通信接口，存储介质通过通信总线完成相互间的通信；
存储介质，用于存放机器可执行指令；
处理器，用于执行存储介质上所存放的机器可执行指令时，实现第二方面提供的多媒体数据处理方法。
根据本申请实施例的第八方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第二方面提供的多媒体数据处理方法。
本申请实施例的多媒体数据处理方法，通过发送端设备将多个轨道的编码多媒体数据封装为单个多媒体数据流，并将多媒体数据流传输给接收端设备，由接收端设备对多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并对各个轨道的编码多媒体数据进行处理，在保证多个轨道的多媒体数据的同步的情况下，降低了编码端设备和解码端设备的性能要求，扩展了方案的适用场景。
图1是本申请一示例性实施例示出的一种多媒体数据处理系统的架构示意图。
图2是本申请一示例性实施例示出的一种多媒体数据处理方法的流程示意图。
图3是本申请一示例性实施例示出的一种多媒体数据处理方法的流程示意图。
图4A是普通RTP封装示意图。
图4B是本申请一示例性实施例示出的一种多媒体数据流例如RTP流的封装示意图。
图4C是本申请一示例性实施例示出的一种NVR对接收到的RTP流的处理流程示意图。
图4D是普通PES封装示意图。
图4E是本申请一示例性实施例示出的一种多媒体数据流例如PES流的封装示意图。
图4F是本申请一示例性实施例示出的一种NVR对视频图像进行拼接显示的示意图。
图5是本申请一示例性实施例示出的一种多媒体数据处理装置的结构示意图。
图6是本申请又一示例性实施例示出的一种多媒体数据处理装置的结构示意图。
图7是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
图8是本申请一示例性实施例示出的一种多媒体数据处理装置的结构示意图。
图9是本申请又一示例性实施例示出的一种多媒体数据处理装置的结构示意图。
图10是本申请又一示例性实施例示出的一种多媒体数据处理装置的结构示意图。
图11是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例适用的系统架构进行说明。
请参见图1，为本申请实施例一种多媒体数据处理系统的架构示意图，如图1所示，多媒体数据处理系统可以包括发送端设备101和接收端设备102。
发送端设备101可以将多个轨道的多媒体数据封装为单个多媒体数据流，并将该多媒体数据流发送给接收端设备102。
这里，多个轨道可以理解为“多路”、“多个通道”等，用于说明发送端设备101接收到的多媒体数据可以来自不同的数据源。
作为一个示例，该发送端设备101可以从单个目标多媒体数据采集设备获取多个轨道的多媒体数据。该目标多媒体数据采集设备可以集成有多个传感器，这多个传感器可以对同一场景进行拍摄，每个传感器可拍摄获得一个轨道的多媒体数据。
作为一个示例，该发送端设备101可以从多个目标多媒体数据采集设备获取多个轨道的多媒体数据。
其中，该多个目标多媒体数据采集设备并不固定，而是可以根据在监控场景中的需求而指定，以配合实现更大监控范围的视频监控。该多个目标多媒体数据采集设备采集的多媒体数据在进行播放前需要进行拼接处理。
作为一个示例，该发送端设备101可以获取本地存储的或实时采集的超分辨率多媒体数据，将获取的超分辨率多媒体数据按照预设轨道数量进行划分，以获取多个轨道的多媒体数据。
作为一个示例，该发送端设备101还可以接收按照预设传输封装协议封装的多媒体数据流，将接收的多媒体数据流进行解封装以获取多个轨道的多媒体数据。
作为一个示例，该发送端设备101还可以将本地存储的按照预设存储封装协议封装的多媒体数据流进行解封装，以获取多个轨道的多媒体数据。
在实际应用中，发送端设备获取的多媒体数据还可以根据具体需求进行处理。以该发送端设备为多媒体数据采集设备为例。该多媒体数据采集设备上集成有多个传感器，可以对同一场景进行拍摄。在获取到多个传感器分别从不同角度拍摄到的同一场景的多个图像之后，可能需要从拍摄的多个图像中提取出包含特定对象的图像(例如，包含“汽车”的图像)以进行传输。在这种情况下，可以分别对各个图像进行切割，以获取包含特定对象“汽车”的有效图像。此时，切割得到的各个图像的图像数据即为多个轨道的多媒体数据。
以上举例仅仅是为了说明本公开的多媒体数据处理系统可以应用于不同的场景，以及处理不同来源的数据，对本公开并不具有任何限制性。
在本公开的示例中，多媒体数据流可以包括各个轨道的多媒体数据，该各个轨道的多媒体数据可以是在在相同时刻采集的多媒体数据，也可以是在不同时刻采集的多媒体数据，本公开并不进行限制。
另外，如果该各个轨道的多媒体数据是在相同时刻采集的，则相同时刻并不限于时间完全相同，也可以允许预设误差(可以根据实际场景确定，如2毫秒、5毫秒等)。
以预设误差为5毫秒为例，当多媒体数据采集设备A采集的多媒体数据1和多媒体数据采集设备B采集的多媒体数据2的采集时间的差值小于5毫秒时，可以将多媒体数据1和多媒体数据2确定为多媒体数据采集设备A和多媒体数据采集设备B相同时刻采集的多媒体数据。
在本申请实施例中，封装得到的多媒体数据流还携带有用于各个轨道的多媒体数据同步的同步信息。通过该同步信息，各轨道的多媒体数据彼此之间可以保持同步，以便于解码端进行数据恢复。关于该同步信息，下文中将具体进行描述。
在本申请实施例中，各个轨道的多媒体数据分别为编码后的多媒体数据。多媒体数据的编码操作可以由发送端设备执行。例如，发送端设备101获取到各个轨道的多媒体数据后，分别对各个轨道的多媒体数据进行编码，然后将各个轨道的编码后的多媒体数据封装为单个多媒体数据流。在该各个轨道的多媒体数据是获取自多媒体数据采集设备的情况下，该编码操作也可以由多媒体数据采集设备来执行。例如，对应于一个轨道的多媒体数据采集设备采集到多媒体数据后对采集的数据进行编码，发送端设备101从该多媒体数据采集设备获取的多媒体数据即为该轨道的编码后的多媒体数据。
本申请实施例中，接收端设备102接收到发送端设备101发送的多媒体数据流时，可以对该多媒体数据流进行解封装，以得到各个轨道的编码后的多媒体数据，并对该各个轨道的编码后的多媒体数据进行处理。
在本申请实施例中，发送端设备和接收端设备只是指代设备在不同应用场景下所处的角色，而并不是对设备类型的限制，即某应用场景下的接收端设备，在其他应用场景下也可以作为发送端设备。
例如，当发送端设备为多媒体数据采集设备时，具有多媒体数据存储功能的设备(如NVR(Network Video Recorder，网络硬盘录像机))可以作为接收端设备；而当存在终端设备需要从该具有多媒体数据存储功能的设备中获取多媒体数据进行回放时，该具有多媒体数据存储功能的设备又可以作为发送端设备，向该终端设备(作为接收端设备)发送多媒体数据。
另外，关于多媒体数据采集设备，在实际场景中，其可以是独立部署的多个目标多媒体数据采集设备，也可以是集成部署的多媒体数据采集设备，例如集成有多个摄像头的球机。当发送端设备为例如球机时，其获取的多个轨道的多媒体数据即为自身多个摄像头分别拍摄的图像数据。
在图1所示的多媒体数据处理系统中，发送端可以对多个轨道的多媒体数据单独编码，并将各个轨道的编码后的多媒体数据封装为单个多媒体数据流发送到解码端；解码端对接收到的多媒体数据流解封装后再进行解码以得到各个轨道的解码图像，并可以对获得的各个轨道的解码图像进行拼接。该方案与将来自多个轨道的多媒体数据拼接后再编码的方案相比，降低了对编码端设备和解码端设备的性能要求。而与将多个轨道的多媒体数据分别通过各个轨道发送给接收端设备的方案相比，通过将多个轨道的多媒体数据封装为单个多媒体数据流发送给解码端设备，更好地保证了多个轨道的多媒体数据的同步性。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图2，为本申请实施例提供的一种多媒体数据处理方法的流程示意图，其中，该多媒体数据处理方法可以应用于发送端设备，如图2所示，该多媒体数据处理方法可以包括以下步骤。
步骤S200、获取多个轨道各自的编码多媒体数据。
步骤S210，将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，该多媒体数据流包括各个轨道的编码多媒体数据，以及用于将各轨道的编码多媒体数据同步的同步信息。
步骤S220、将所述多媒体数据流传输给接收端设备，由接收端设备对多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于同步信息对各个轨道的编码多媒体数据进行处理。
本申请实施例中，多媒体数据可以包括但不限于视频数据、音频数据或图片数据等。
在一个应用场景中，当发送端设备接收到将目标多媒体数据采集设备采集的多媒体数据发送给接收端设备的指令时，发送端设备可以将多个目标多媒体数据采集设备采集的多媒体数据封装为单个多媒体数据流，并将该多媒体数据流传输给接收端设备。
在本申请实施例中，所述获取多个轨道各自的编码多媒体数据包括：从单个数据采集设备获取多个轨道的多媒体数据，其中，所述多个轨道的多媒体数据为所述数据采集 设备中设置的多个传感器针对同一场景拍摄的多媒体数据；分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
在本申请实施例中，所述获取多个轨道各自的编码多媒体数据包括：从多个数据采集设备获取多个轨道的编码多媒体数据。
在本申请实施例中，所述获取多个轨道各自的编码多媒体数据包括：将多媒体数据按照所述轨道的数量进行划分，以得到所述多个轨道的多媒体数据；分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
在本申请实施例中，所述获取多个轨道各自的编码多媒体数据包括：按照预设存储封装协议对预存储的多媒体数据进行解封装，以得到各个轨道的所述编码多媒体数据。
发送端本地存储的多媒体数据可以为按照预设存储封装协议封装后的数据。利用预设存储封装协议进行封装的操作将在下文中描述。
在本申请其中一个实施例中，上述将多个轨道的编码多媒体数据封装为单个多媒体数据流，可以包括：按照预设传输封装协议将各轨道的编码多媒体数据封装为多媒体数据流。
其中，该预设传输封装协议可以包括但不限于RTP(Real-time Transport Protocol，实时传输协议)协议等。
在该实施例中，当发送端设备为多媒体数据采集设备时，如发送端设备为集成多个摄像头的球机，发送端设备可以分别对多个目标多媒体数据采集设备(如该球机所集成的多个摄像头)采集的多媒体数据进行编码，并按照预设传输封装协议将该多个目标多媒体数据采集设备的编码后的多媒体数据封装为多媒体数据流。
在本申请另一个实施例中，上述将多个目标多媒体数据采集设备采集的多媒体数据封装为多媒体数据流，可以包括：
对所存储的按照预设存储封装协议封装的各轨道的编码多媒体数据进行解封装，以得到各个轨道的编码多媒体数据；
按照预设传输封装协议将各轨道的编码多媒体数据封装为多媒体数据流。
在该实施例中，当发送端设备为多媒体数据存储设备时，如NVR，发送端设备可以先将存储的按照预设存储封装协议封装的该多个目标多媒体数据采集设备的多媒体数据进行解封装，以得到多个目标多媒体数据采集设备的编码后的多媒体数据，并按照预设传输封装协议将该多个目标多媒体数据采集设备的编码后的多媒体数据封装为多媒体数据流。
其中，该预设存储封装协议可以包括但不限于PS(MPEG(Moving Picture Experts Group，动态图像专家组)Program Stream，一种主流的音视频数据封装方式)协议等。
在该实施例中，将多个轨道的多媒体数据按照预设存储封装协议封装的具体实现可以参见图3所示方法流程中的相关描述，本申请实施例在此不做赘述。
在一个示例中，该多媒体数据流中携带的同步信息为合成帧信息，该合成帧信息可以包括但不限于：数据包类型标识、帧开始标识、帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数。
其中，数据包类型标识用于标识多媒体数据流中携带的数据包的类型，其包括但不 限于视频数据、音频数据或图片数据等；
帧开始标识用于标识多媒体数据流中携带的数据包是否为帧开始的数据包；
帧结束标识用于标识多媒体数据流中携带的数据包是否为帧结束的数据包；
帧类型标识用于标识多媒体数据流中携带的数据包对应的帧类型，如对于视频帧，其可以包括但不限于I帧、P帧或B帧等；
合成帧序号用于标识多媒体数据流中携带的数据包所在的轨道(一个目标多媒体数据采集设备对应一个轨道)；
合成帧的轨道总数用于标识多媒体数据流中共携带有几个轨道的数据(即几个目标多媒体数据采集设备的多媒体数据)。
其中，在该示例中，合成帧信息可以携带在各数据包的包头中。
以构成多媒体数据流的数据包为RTP包为例，合成帧信息可以携带在各RTP包的RTP头中，接收端设备可以根据RTP包的RTP头中携带的合成帧信息确定属于同一多媒体数据流的RTP包，其具体实现可以在下文中结合具体实例进行说明。
在本申请实施例中，上述对合成帧信息的内容的限定仅仅是本申请中的一种具体示例，而并不属于对本申请保护范围的限定。举例来说，以多媒体数据采集设备为摄像机为例，当一个摄像机的一帧图像通过一个数据包来传输时，合成帧信息可以不包括帧开始标识和帧结束标识；或者，可以将多媒体数据流中包括的多个摄像机相同时刻采集的图像对应的数据包统一编号，进而可以直接根据包序号确定各数据包对应的多媒体数据采集设备，而不需要额外携带合成帧序号。
例如，假设存在3个摄像机，摄像机的一帧图像对应4个数据包，则包序号为0～3的为摄像机1的图像对应的数据包；包序号为4～7的为摄像机2的图像对应的数据包；包8～11的为摄像机3的图像对应的数据包，其具体实现在此不做赘述。
本申请实施例中，按照预设传输封装协议将多个轨道的编码多媒体数据封装为多媒体数据流的具体实现，以及多媒体数据流中合成帧信息的具体实现将在下文中结合具体实例进行说明，本申请实施例在此不做赘述。
本申请实施例中，接收端设备接收到发送端设备发送的多媒体数据流时的具体处理流程可以参见图3所示方法流程中的相关描述，本申请实施例在此不做赘述。
请参见图3，为本申请实施例提供的一种多媒体数据处理方法的流程示意图，其中，该多媒体数据处理方法可以应用于接收端设备，如图3所示，该多媒体数据处理方法可以包括以下步骤。
步骤S300、接收发送端设备发送的多媒体数据流；其中，该多媒体数据流包括多个轨道的编码多媒体数据以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据。
本申请实施例中，发送端设备向接收端设备发送多媒体数据流的具体实现可以参见图2所示方法流程中的相关描述，本申请实施例在此不再赘述。
步骤S310、对多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据。
步骤S320、基于同步信息对该各个轨道的编码多媒体数据进行处理。
本申请实施例中，接收端设备接收到发送端设备发送的多媒体数据流时，可以对该 多媒体数据流进行解封装，以得到多个轨道各自的编码多媒体数据，并基于同步信息对该各个轨道的编码多媒体数据进行处理。
其中，接收端设备对编码多媒体数据进行处理可以包括但不限于分割、显示、传输或/和存储等。
在本申请其中一个实施例中，多媒体数据为视频数据。
上述基于同步信息对各个轨道的编码多媒体数据进行处理，可以包括：
基于同步信息对各个轨道的编码视频帧进行解码以得到解码后的视频图像；
对解码后的视频图像进行处理。
在该实施例中，当多媒体数据为视频数据，且接收端设备需要对各个轨道的视频数据进行显示时，接收端设备可以先对该各个轨道的编码视频帧进行解码。
作为一种实施方式，上述同步信息可以包括多媒体数据流的数据包中携带的合成帧信息；
该合成帧信息可以包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号以及合成帧的轨道总数。
在该实施方式中，上述基于同步信息对各轨道的编码多媒体数据进行解码，包括：
根据数据包类型标识、帧开始标识和帧结束标识以及合成帧序号，分别得到各个轨道的完整视频帧；
对各个轨道的完整视频帧进行解码。
在该实施方式中，接收端设备可以根据多媒体数据流中的数据包类型标识(如携带在多媒体数据流的封装头中)确定多媒体数据流中的数据是否为视频数据；对于视频数据，接收端设备可以根据合成帧序号确定同一轨道的视频帧对应的数据包，并根据帧开始标识以及帧结束标识得到同一轨道的完整视频帧。
接收端设备得到各轨道的完整视频帧时，可以分别对各轨道的完整视频帧进行解码。
进一步地，在该实施例中，为了提高解码效率，可以采用多个并行解码器对多个轨道的编码多媒体数据进行解码。
在一个示例中，可以配置轨道与解码器的对应关系，一个轨道对应一个解码器，接收端设备可以根据多媒体数据所在轨道，将多媒体数据发送至对应的解码器进行解码。
在一个示例中，接收端设备对各个轨道的视频解码以获得解码后的视频图像；根据预设条件对解码后的视频图像进行切割，以得到切割后的视频图像；将各个轨道的切割后的视频图像单独编码以获得各个轨道的编码视频数据；将各个轨道的编码视频数据按照预设存储封装协议封装为单个多媒体视频流以进行存储，或者按照预设传输封装协议封装以进行网络传输。
接收端设备在获得各个轨道的解码后的视频图像后，可以分析该视频图像是否满足要求。例如，是否每幅图像都包含特定对象(例如，汽车)。可以仅对包含特定对象的图像进行封装。或者，可以对该图像进行切割以仅保留包含特定对象的部分，然后对切割的图像进行编码，再按照预设封装协议对编码数据进行封装。封装得到的数据流可以保存在本地也可以进行网络传输。
在本申请实施例中，接收端设备解码得到各轨道的视频图像之后，可以根据解码后的视频图像所在轨道，以及解码后的视频图像的宽高，确定各视频图像在拼接图中的位置信息，并根据该位置信息对解码后的视频图像进行拼接显示。
需要说明的是，在该实施例中，接收端设备对各轨道的视频图像进行拼接之后，还可以根据所设置的输出分辨率对拼接后的视频图像进行缩放，并对缩放后的拼接图像进行显示。
此外，本申请实施例中，接收端设备得到解码后的视频图像之后，在对解码后的视频图像进行拼接之前，可以先按照实际需求对解码后的视频图像进行缩放，并对缩放后的视频图像进行拼接显示，其具体实现在此不做赘述。
在本申请实施例中，上述描述的通过多个并行解码器分别对各轨道的完整视频帧进行解码仅仅是对多媒体数据采集设备的视频帧进行解码的一种具体示例，而并不属于对本申请保护范围的限定，即也可以通过其他方式对完整视频帧进行解码，例如，可以通过单个解码器对各轨道的完整视频帧进行串行解码；或者，采用多个解码器进行并行解码，一个解码器可以对应多个目标多媒体数据采集设备，其具体实现在此不做赘述。
在本申请另一个实施例中，上述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；上述基于同步信息对各个轨道的编码多媒体数据进行处理，可以包括：
按照预设传输封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流；其中，该多媒体数据流的数据包中携带有合成帧信息，合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；
对该按照预设传输封装协议封装的多媒体数据流进行网络传输。
在该实施例中，接收端设备接收到发送端设备发送的多媒体数据流，并解封装得到各个轨道的编码多媒体数据之后，还可以再将该各个轨道的编码多媒体数据发送给其他设备(此时该接收端设备也作为发送端设备)。
在该实施例中，接收端设备可以按照预设传输封装协议将该各个轨道的编码多媒体数据封装为单个多媒体数据流，并对该按照预设传输封装协议进行封装的多媒体数据流进行网络传输。
其中，按照预设传输封装协议将各轨道的编码多媒体数据封装为多媒体数据流的具体实现将在下文中结合具体实例进行说明，本申请实施例在此不做赘述。
在本申请又一个实施例中，，上述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；上述基于同步信息对各个轨道的编码多媒体数据进行处理，包括：
按照预设存储封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流；其中，该多媒体数据流的数据包中携带有合成帧信息，该合成帧信息包括以下至少一者：数据包类型标识、帧开始标识、帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数；
对该按照预设存储封装协议封装的多媒体数据流进行存储。
在该实施例中，接收端设备接收到发送端设备发送的多媒体数据流，并解封装得到各个轨道的编码多媒体数据之后，可以对各个轨道的编码多媒体数据进行存储。
在该实施例中，接收端设备可以按照预设存储封装协议将各个轨道的编码多媒 体数据封装为多媒体数据流，并对该按照预设存储封装协议封装的多媒体数据流进行存储。
其中，按照预设存储封装协议将各个轨道的编码多媒体数据封装为多媒体数据流的具体实现将在下文中结合具体实例进行说明，本申请实施例在此不做赘述。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。
在该实施例中，以发送端设备为集成多个摄像头的球机，接收端设备为NVR，预设传输封装协议为RTP协议，预设存储封装协议为PS协议为例。
在该实施例中，对多个摄像头采集的视频数据，球机可以按照RTP协议将其封装为多媒体数据流(下文中称为多媒体数据RTP流)。
如图4A所示，普通RTP封装按照4字节对齐的方式进行，当每个RTP报文的负载长度不是4字节对齐时，需要填充RTP包；其中，填充的字节长度可以1、2或者3字节。
在该实施例中，多媒体数据RTP流使用普通RTP头中的填充字段，并且最少填充4个字节，其示意图可以如图4B所示，这几个字节包括MFI(Multiple Frame Indicator，合成帧信息)字节，该MFI字节包括数据包类型(音频或视频等)标识、帧开始标识、帧结束标识、帧类型(I帧，P帧…)标识、合成帧序号(用此确认数据包所在的轨道)以及合成帧的轨道总数等。如n个轨道的多媒体数据流是RTP0头+RTP0 payload(负载)+MFI0+RTP1头+RTP1 payload+MFI1+RTPn头+…+RTPn payload+MFIn。这些填充的信息字段并不影响各个轨道的负载数据。
其中，数据包类型标识可以具有至少4个值，分别用于标识视频、音频、私有帧等；
例如，用“00”标识视频，“01”标识音频，“10”标识私有帧，“11”为保留标识。
帧开始标识可以具有至少2个值，分别用于标识该数据包是否是帧开始的数据包；
例如，标识“1”指示该数据包为帧开始的数据包，标识“0”指示该数据包不是帧开始的数据包。
帧结束标识可以具有至少2个值，分别用于标识该数据包是否是帧结束的数据包；
例如，标识“1”指示该数据包为帧结束的数据包，标识“0”指示该数据包不是帧结束的数据包。
帧类型标识可以具有至少4个值，用于在数据包类型为视频的情况下，分别标识I帧、P帧或B帧；
例如，用“00”标识I帧，用“01”标识P帧，“10”标识B帧，“11”保留不被使用。
合成帧序号用于标识数据包所在轨道(一个摄像头对应一个轨道)；
合成帧的轨道总数用于标识轨道的总数。
需要说明的是，在本申请实施例中，MFI字节中包括的信息并不限于上述信息。例如，MFI字节中还可以包括多媒体数据流中每轨图像在拼接图中的位置信息。进而，接收端设备接收到多媒体数据流，并解码出对应的图像信息之后，可以根据该MFI字节 中包括的每轨图像在拼接图中的位置信息对各轨图像进行拼接，其具体实现在此不做赘述。
在该实施例中，球机将多个摄像头的视频数据封装为多媒体数据RTP流之后，可以将该多媒体数据RTP流发送给NVR。
NVR接收到多媒体数据RTP流之后，可以解除封装，剥离封装的数据头，得到各个轨道码流，并根据需求进行显示、存储或网络传输处理，其示意图可以如图4C所示。
下面分别对存储、网络传输以及显示处理进行说明。
1、存储
NVR对多媒体数据RTP流解封装得到各个轨道码流(ES流)之后，NVR可以将各个轨道码流封装为多媒体数据PS流并进行存储。
请参见图4D，为普通PES包的封装示意图。多媒体数据PS流，在普通PS封装的PES头的stuff填充字段上增加MFI信息，后面封装上负载信息，其示意图可以如图4E所示。如n个轨道的多媒体数据流是PES0头+MFI0+PES0 payload+PES1头+MFI1+PES1 payload+…+PESn头+MFIn+PESn payload，从而将不同摄像头编码后码流组合成一条多媒体数据流(也称为“多轨流”)。
2、网络传输
NVR对多媒体数据RTP流解封装得到各个轨道码流之后，NVR可以重新将各个轨道码流封装为多媒体数据RTP流，并进行网络传输。
其中，NVR对各个轨道码流封装为多媒体数据RTP流的具体实现可以参见上述球机进行多媒体数据RTP流的封装处理流程，在此不再赘述。
3、显示
NVR对多媒体数据RTP流解封装得到各个轨道码流之后，根据MFI信息确定该轨道的帧类型、轨道序号、帧开始、帧结束。
其中NVR可以根据轨道序号、封装解析获得的帧对应宽高确定单个轨道的视频图像在拼接图中的位置。
为了提高解码效率，多个轨道码流采用多个解码器并行解码。当解析到多个轨道ES流后，将同一轨道序号的ES流用同一解码器做解码，解码后的视频图像根据所在轨道位置做图像拼接，然后显示。
其中，为了保证数据的同步，NVR可以在解析得到多个轨道ES流后，同步对各轨道的ES流进行解码(并行解码)。
如图4F所示，码流接入到解码拼接显示的处理流程，可以包括：
a)、接入的码流Sn-i(n：多媒体数据流的第几路流；i：包序号)，剥离封装信息，解析MFI获取帧类型(I帧，P帧或B帧)，所在轨道，及帧开始标识、帧结束标识等信息，从而得到每个轨道的En-i(I帧，P帧…，n：多媒体数据流的第几路流；i：包序号)裸流。
b)、En-i裸流拼成一完整的帧后，按所在轨道送入并行的解码器n(第n个解码器)做解码，获取视频图像n(第n个轨道的解码后的图像数据)。
c)、各视频图像根据在第1步中获取的轨道信息和宽高信息，以得出各视频图像在拼接图中的位置，按照位置做图像拼接，得到完整的视频图像。
d)、完整的视频图像根据输出分辨率大小经过缩小或放大，输出到显示器做显示。
本申请实施例中，发送端设备可以将多个轨道的多媒体数据封装为单个多媒体数据流，并将多媒体数据流传输给接收端设备。由接收端设备对多媒体数据流进行解封装，以得到各个轨道的编码后的多媒体数据，并对各个轨道的编码后的多媒体数据进行处理。这样，在保证多个轨道的多媒体数据的同步的情况下，降低了编码端设备和解码端设备的性能要求，扩展了方案的适用场景。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图5，为本申请实施例提供的一种多媒体数据处理装置的结构示意图，其中，该多媒体数据处理装置可以应用于上述方法实施例中的发送端设备，如图5所示，该多媒体数据处理装置可以包括：
获取单元500，用于获取多个轨道各自的编码多媒体数据；
封装单元510，用于将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；
传输单元520，用于将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
在一种可选的实施方式中，如图6所示，所述装置还包括编码单元530，
获取单元500具体用于：从单个数据采集设备获取多个轨道的多媒体数据，其中，所述多个轨道的多媒体数据为所述数据采集设备中设置的多个传感器针对同一场景拍摄的多媒体数据；
编码单元530用于：分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
在一种可选的实施方式中，获取单元500具体用于，从多个数据采集设备获取多个轨道的编码多媒体数据。
在一种可选的实施方式中，获取单元500具体用于，将多媒体数据按照所述轨道的数量进行划分，以得到所述多个轨道的多媒体数据；
编码单元530用于，分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
在一种可选的实施方式中，封装单元510，具体用于按照预设存储封装协议对预存储的多媒体数据进行解封装，以得到各个轨道的所述编码多媒体数据。
在一种可选的实施方式中，封装单元510，还具体用于按照预设传输封装协议将各个轨道的编码多媒体数据封装为所述单个多媒体数据流。
在一种可选的实施方式中，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；
所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数。
请参见图7，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器701、通信接口702、存储介质703和通信总线704。处理器701、通信接口702以及存储介质703通过通信总线704完成相互间的通信。其中，存储介质703上存放有机器可执行指令；处理器701可以通过执行存储介质703上所存放的机器可执行指令，执行图2所示的多媒体数据处理方法。
本文中提到的存储介质703可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储介质702可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
本申请实施例还提供了一种存储有机器可执行指令的机器可读存储介质，例如图7中的存储介质703，所述机器可执行指令可由图7所示电子设备中的处理器701执行以实现图2所示的多媒体数据处理方法。
请参见图8，为本申请实施例提供的一种多媒体数据处理装置的结构示意图，其中，该多媒体数据处理装置可以应用于上述方法实施例中的接收端设备，如图8所示，该多媒体数据处理装置可以包括：
接收单元810，用于接收发送端设备发送的多媒体数据流；其中，所述多媒体数据流包括多个轨道的编码多媒体数据，以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据；
解封装单元820，用于对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据；
处理单元830，用于基于所述同步信息对各个轨道的编码多媒体数据进行处理。
在一种可选的实施方式中，所述多媒体数据为视频数据；
处理单元830，具体用于基于所述同步信息对各个轨道的编码视频帧进行解码以得到解码后的视频图像；对解码后的视频图像进行处理。
在一种可选的实施方式中，所述同步信息包括多媒体数据流的数据包中携带的合成帧信息；
所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数；
处理单元830，具体用于根据所述数据包类型标识、帧开始标识、帧结束标识以及合成帧序号，分别得到各个轨道的完整视频帧；对各轨道的完整视频帧进行解码。
在一种可选的实施方式中，所述处理单元830，具体用于通过多个并行的解码器分别对各轨道的完整视频帧进行解码。
在一种可选的实施方式中，所述处理单元830，具体用于将各轨道的完整视频帧发送至对应的解码器进行解码。
在一种可选的实施方式中，所述处理单元830，具体用于根据解码后的视频图像所在轨道，以及解码后的视频图像的宽高，确定各视频图像的拼接位置信息；根据所述位置信息对解码后的视频图像进行拼接以得到拼接视频图像；对拼接视频图像进行显示。
在一种可选的实施方式中，所述处理单元830，还用于根据输出分辨率对拼接视频图像进行缩放；
处理单元830，还具体用于对缩放后的拼接视频图像进行显示。
在一种可选的实施方式中，如图9所示，所述装置还包括：第一封装单元840；
所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；
第一封装单元840，用于按照预设传输封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中该多媒体数据流中携带有合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；
处理单元830，具体用于对该按照预设传输封装协议封装的多媒体数据流进行网络传输。
在一种可选的实施方式中，如图10所示，所述装置还包括：第二封装单元850，
所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；
第二封装单元850，还用于按照预设存储封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中该多媒体数据流的数据包中携带有合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；
处理单元830，具体用于对该按照预设存储封装协议封装的多媒体数据流进行存储。
在一种可选的实施方式中，处理单元830具体还用于：根据预设条件对各个轨道的解码后的视频图像进行切割，以得到切割后的视频图像；将各个轨道的切割后的视频图像单独编码以获得各个轨道的编码视频数据；
第一封装单元840具体用于将各个轨道的编码视频数据按照预设传输封装协议封装为单个多媒体视频流以进行网络传输，或者
第二封装单元850具体用于将各个轨道的编码视频数据按照预设存储封装协议将封装为单个多媒体视频流以进行存储。
请参见图11，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器1101、通信接口1102、存储介质1103和通信总线1104。处理器1101、通信接口1102以及存储介质1103通过通信总线1104完成相互间的通信。其中，存储介质1103上存放有机器可执行指令；处理器1101可以通过执行存储介质1103上所存放的机器可执行指令，执行图3所示的多媒体数据处理方法。
本文中提到的存储介质1103可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储介质1103可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或 者类似的存储介质，或者它们的组合。
本申请实施例还提供了一种存储有机器可执行指令的机器可读存储介质，例如图11中的存储介质1103，所述机器可执行指令可由图11所示电子设备中的处理器1101执行以实现图3所示的多媒体数据处理方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (38)
- 一种多媒体数据处理方法，应用于发送端设备，其特征在于，该方法包括：获取多个轨道各自的编码多媒体数据；将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
- 根据权利要求1所述的方法，其特征在于，所述获取多个轨道各自的编码多媒体数据包括：从单个数据采集设备获取多个轨道的多媒体数据，其中，所述多个轨道的多媒体数据为所述数据采集设备中设置的多个传感器针对同一场景拍摄的多媒体数据；分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
- 根据权利要求1所述的方法，其特征在于，所述获取多个轨道各自的编码多媒体数据包括：从多个数据采集设备获取多个轨道的编码多媒体数据。
- 根据权利要求1所述的方法，其特征在于，所述获取多个轨道各自的编码多媒体数据包括：将多媒体数据按照所述轨道的数量进行划分，以得到所述多个轨道的多媒体数据；分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
- 根据权利要求1所述的方法，其特征在于，所述获取多个轨道各自的编码多媒体数据包括：按照预设存储封装协议对预存储的多媒体数据进行解封装，以得到各个轨道的所述编码多媒体数据。
- 根据权利要求1至5任一所述的方法，其特征在于，所述将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，包括：按照预设传输封装协议将各个轨道的编码多媒体数据封装为所述单个多媒体数据流。
- 根据权利要求1至6任一所述的方法，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；其中，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数。
- 一种多媒体数据处理方法，应用于接收端设备，其特征在于，该方法包括：接收发送端设备发送的多媒体数据流；所述多媒体数据流包括多个轨道的编码多媒体数据，以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据；对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据；基于所述同步信息对各个轨道的编码多媒体数据进行处理。
- 根据权利要求8所述的方法，其特征在于，所述多媒体数据为视频数据；所述基于所述同步信息对各个轨道的编码多媒体数据进行处理，包括：基于所述同步信息对各个轨道的编码视频帧进行解码以得到解码后的视频图像；对解码后的视频图像进行处理。
- 根据权利要求9所述的方法，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数；所述基于所述同步信息对各个轨道的编码视频帧进行解码，包括：根据所述数据包类型标识、帧开始标识和帧结束标识、以及合成帧序号，分别得到各个轨道的完整视频帧；对各个轨道的完整视频帧进行解码。
- 根据权利要求9所述的方法，其特征在于，所述对各个轨道的完整视频帧进行解码，包括：通过多个并行的解码器分别对各个轨道的完整视频帧进行解码。
- 根据权利要求11所述的方法，其特征在于，所述通过多个并行的解码器分别对各个轨道的完整视频帧进行解码，包括：将各个轨道的完整视频帧发送至与该轨道对应的解码器进行解码。
- 根据权利要求9所述的方法，其特征在于，所述对解码后的视频图像进行处理，包括：根据解码后的视频图像所在轨道，以及解码后的视频图像的宽高，确定各视频图像的拼接位置信息；根据所述位置信息对解码后的视频图像进行拼接以得到拼接视频图像；对拼接视频图像进行显示。
- 根据权利要求13所述的方法，其特征在于，所述对拼接视频图像进行显示之前，还包括：根据输出分辨率对拼接视频图像进行缩放；所述对拼接视频图像进行显示，包括：对缩放后的拼接视频图像进行显示。
- 根据权利要求8所述的方法，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；基于所述同步信息对各个轨道的编码多媒体数据进行处理，包括：按照预设传输封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中所述多媒体数据流的数据包中携带有所述合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；对该按照预设传输封装协议封装的多媒体数据流进行网络传输。
- 根据权利要求8所述的方法，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；所述基于所述同步信息对各个轨道的编码多媒体数据进行处理，包括：按照预设存储封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中所述多媒体数据流的数据包中携带有所述合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；对该按照预设存储封装协议封装的多媒体数据流进行存储。
- 根据权利要求9所述的方法，其特征在于，所述对解码后的视频图像进行处理，包括：根据预设条件对各个轨道的解码后的视频图像进行切割，以得到切割后的视频图像；将各个轨道的切割后的视频图像单独编码以获得各个轨道的编码视频数据；将各个轨道的编码视频数据按照预设存储封装协议封装为单个多媒体视频流以进行存储，或者按照预设传输封装协议封装以进行网络传输。
- 一种多媒体数据处理装置，应用于发送端设备，其特征在于，该装置包括：获取单元，用于获取多个轨道各自的编码多媒体数据；封装单元，用于将所述多个轨道的编码多媒体数据封装为单个多媒体数据流，其中，所述多媒体数据流包括各个轨道的所述编码多媒体数据，以及用于将各个轨道的所述编码多媒体数据同步的同步信息；传输单元，用于将所述多媒体数据流传输给接收端设备，由所述接收端设备对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据，并基于所述同步信息对各个轨道的编码多媒体数据进行处理。
- 根据权利要求18所述的装置，其特征在于，所述装置还包括编码单元，所述获取单元具体用于：从单个数据采集设备获取多个轨道的多媒体数据，其中， 所述多个轨道的多媒体数据为所述数据采集设备中设置的多个传感器针对同一场景拍摄的多媒体数据；所述编码单元用于：分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
- 根据权利要求18所述的装置，其特征在于，所述获取单元具体用于：从多个数据采集设备获取多个轨道的编码多媒体数据。
- 根据权利要求18所述的装置，其特征在于，所述装置还包括编码单元，所述获取单元具体用于：将多媒体数据按照所述轨道的数量进行划分，以得到所述多个轨道的多媒体数据；所述编码单元用于：分别对各个轨道的多媒体数据进行编码以获取所述编码多媒体数据。
- 根据权利要求18所述的装置，其特征在于，所述封装单元具体用于：按照预设存储封装协议对预存储的多媒体数据进行解封装，以得到各个轨道的所述编码多媒体数据。
- 根据权利要求18至22任一所述的装置，其特征在于，所述封装单元具体用于：按照预设传输封装协议将各个轨道的编码多媒体数据封装为所述单个多媒体数据流。
- 根据权利要求18至23任一所述的装置，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；其中，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数。
- 一种多媒体数据处理装置，应用于接收端设备，其特征在于，该装置包括：接收单元，用于接收发送端设备发送的多媒体数据流；所述多媒体数据流包括多个轨道的编码多媒体数据，以及用于将各个轨道的编码多媒体数据同步的同步信息，其中，各个轨道的编码多媒体数据为分别针对各个轨道的多媒体数据单独编码获得的数据；解封装单元，用于对所述多媒体数据流进行解封装，以得到各个轨道的编码多媒体数据；处理单元，用于基于所述同步信息对各个轨道的编码多媒体数据进行处理。
- 根据权利要求25所述的装置，其特征在于，所述多媒体数据为视频数据；所述处理单元具体用于：基于所述同步信息对各个轨道的编码视频帧进行解码以得到解码后的视频图像；对解码后的视频图像进行处理。
- 根据权利要求26所述的装置，其特征在于，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、帧类型标识、合成帧序号、合成帧的轨道总数；所述处理单元具体用于：根据所述数据包类型标识、帧开始标识和帧结束标识、以及合成帧序号，分别得到各个轨道的完整视频帧；对各个轨道的完整视频帧进行解码。
- 根据权利要求26所述的装置，其特征在于，所述处理单元具体用于：通过多个并行的解码器分别对各个轨道的完整视频帧进行解码。
- 根据权利要求28所述的装置，其特征在于，所述处理单元具体用于：将各个轨道的完整视频帧发送至与该轨道对应的解码器进行解码。
- 根据权利要求26所述的装置，其特征在于，所述处理器具体用于：根据解码后的视频图像所在轨道，以及解码后的视频图像的宽高，确定各视频图像的拼接位置信息；根据所述位置信息对解码后的视频图像进行拼接以得到拼接视频图像；对拼接视频图像进行显示。
- 根据权利要求30所述的装置，其特征在于，所述处理单元具体用于：根据输出分辨率对拼接视频图像进行缩放；对缩放后的拼接视频图像进行显示。
- 根据权利要求25所述的装置，其特征在于，所述装置还包括：第一封装单元，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；所述第一封装单元用于：按照预设传输封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中所述多媒体数据流的数据包中携带有所述合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；所述处理单元具体用于：对该按照预设传输封装协议封装的多媒体数据流进行网络传输。
- 根据权利要求25所述的装置，其特征在于，所述装置还包括：第二封装单元，所述同步信息包括所述多媒体数据流的数据包中携带的合成帧信息；所述第二封装单元用于：按照预设存储封装协议将各个轨道的编码多媒体数据封装为单个多媒体数据流，其中所述多媒体数据流的数据包中携带有所述合成帧信息，所述合成帧信息包括以下至少一者：数据包类型标识、帧开始标识和帧结束标识、合成帧序号、合成帧的轨道总数；所述处理单元具体用于对该按照预设存储封装协议封装的多媒体数据流进行存储。
- 根据权利要求26所述的装置，其特征在于，所述处理单元具体还用于：根据预设条件对各个轨道的解码后的视频图像进行切 割，以得到切割后的视频图像；将各个轨道的切割后的视频图像单独编码以获得各个轨道的编码视频数据；所述第一封装单元具体用于将各个轨道的编码视频数据按照预设传输封装协议封装为单个多媒体视频流以进行网络传输，或者所述第二封装单元具体用于将各个轨道的编码视频数据按照预设存储封装协议将封装为单个多媒体视频流以进行存储。
- 一种电子设备，其包括：处理器；通信接口、非暂时性存储介质、以及通信总线，其中，所述处理器、通信接口、存储介质通过所述通信总线完成相互间的通信，所述处理器通过执行所述存储介质上的机器可执行指令，实现如权利要求1至7任一所述的方法。
- 一种电子设备，其包括：处理器；通信接口、非暂时性存储介质、以及通信总线，其中，所述处理器、通信接口、存储介质通过所述通信总线完成相互间的通信，所述处理器通过执行所述存储介质上的机器可执行指令，实现如权利要求8至17任一所述的方法。
- 一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现权利要求1-7任一所述的方法。
- 一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现权利要求8-17任一所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811589685.2 | 2018-12-25 | ||
| CN201811589685.2A CN111372035A (zh) | 2018-12-25 | 2018-12-25 | 多媒体数据处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020135527A1 true WO2020135527A1 (zh) | 2020-07-02 |
Family
ID=71128735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/128377 WO2020135527A1 (zh) | 2018-12-25 | 2019-12-25 | 多媒体数据处理 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111372035A (zh) |
| WO (1) | WO2020135527A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114466246A (zh) * | 2022-02-14 | 2022-05-10 | 维沃移动通信有限公司 | 一种视频处理方法及其装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995146A (en) * | 1997-01-24 | 1999-11-30 | Pathway, Inc. | Multiple video screen display system |
| CN102301730A (zh) * | 2011-07-18 | 2011-12-28 | 华为技术有限公司 | 多路音视频传输和处理方法、装置及系统 |
| CN102547212A (zh) * | 2011-12-13 | 2012-07-04 | 浙江元亨通信技术股份有限公司 | 多路视频图像的拼接方法 |
| CN103581609A (zh) * | 2012-07-23 | 2014-02-12 | 中兴通讯股份有限公司 | 一种视频处理方法及装置、系统 |
| CN104243920A (zh) * | 2014-09-04 | 2014-12-24 | 浙江宇视科技有限公司 | 一种基于基本流视频数据封装的图像拼接方法及装置 |
| CN107645647A (zh) * | 2017-09-21 | 2018-01-30 | 京信通信系统（中国）有限公司 | 一种多路音视频传输方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102131097B (zh) * | 2011-03-21 | 2016-05-18 | 中国电信股份有限公司 | 3d流媒体传输方法及系统 |
| CN103546827B (zh) * | 2013-10-30 | 2017-01-18 | 北京视博数字电视科技有限公司 | 用于传输电视系统中的传输流的方法、装置和系统 |
| US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
| CN107124618A (zh) * | 2016-02-24 | 2017-09-01 | 深圳岚锋创视网络科技有限公司 | 实时全景视频录播方法和系统 |
| CN107872422B (zh) * | 2016-09-23 | 2020-01-10 | 杭州海康威视数字技术股份有限公司 | 一种数据传输方法、装置及电子设备 |
| CN107426491B (zh) * | 2017-05-17 | 2021-05-07 | 西安邮电大学 | 一种360度全景视频的实现方法 |
| CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
| CN207443024U (zh) * | 2017-11-02 | 2018-06-01 | 深圳市裂石影音科技有限公司 | 全景音视频录制设备及系统 |
-
2018
- 2018-12-25 CN CN201811589685.2A patent/CN111372035A/zh active Pending
-
2019
- 2019-12-25 WO PCT/CN2019/128377 patent/WO2020135527A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5995146A (en) * | 1997-01-24 | 1999-11-30 | Pathway, Inc. | Multiple video screen display system |
| CN102301730A (zh) * | 2011-07-18 | 2011-12-28 | 华为技术有限公司 | 多路音视频传输和处理方法、装置及系统 |
| CN102547212A (zh) * | 2011-12-13 | 2012-07-04 | 浙江元亨通信技术股份有限公司 | 多路视频图像的拼接方法 |
| CN103581609A (zh) * | 2012-07-23 | 2014-02-12 | 中兴通讯股份有限公司 | 一种视频处理方法及装置、系统 |
| CN104243920A (zh) * | 2014-09-04 | 2014-12-24 | 浙江宇视科技有限公司 | 一种基于基本流视频数据封装的图像拼接方法及装置 |
| CN107645647A (zh) * | 2017-09-21 | 2018-01-30 | 京信通信系统（中国）有限公司 | 一种多路音视频传输方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111372035A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101073777B1 (ko) | 다중화 방식 변환 장치 | |
| CN104243920B (zh) | 一种基于基本流视频数据封装的图像拼接方法及装置 | |
| KR101733501B1 (ko) | 방송신호 전송방법, 방송신호 수신방법, 방송신호 전송장치, 방송신호 수신장치 | |
| KR101721884B1 (ko) | 방송신호 전송방법, 방송신호 수신방법, 방송신호 전송장치, 방송신호 수신장치 | |
| CN101977305A (zh) | 一种视频处理方法及装置和系统 | |
| KR101861941B1 (ko) | 완벽 스플라이싱을 위한 인코딩된 오디오의 전송 스트림에의 삽입 | |
| WO2012106898A1 (zh) | 多路音视频传输和处理方法、装置及系统 | |
| KR101764634B1 (ko) | 방송신호 전송방법, 방송신호 수신방법, 방송신호 전송장치, 방송신호 수신장치 | |
| CN115567661B (zh) | 视频数据的处理方法、系统、计算机设备和存储介质 | |
| CN112565224B (zh) | 一种视频处理方法及装置 | |
| US12120380B2 (en) | Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method | |
| WO2020135527A1 (zh) | 多媒体数据处理 | |
| JP2005123907A (ja) | データ再構成装置 | |
| WO2024109317A1 (zh) | 一种传输视频帧及摄像参数信息的方法与设备 | |
| CN107205158A (zh) | 一种基于时间戳的多路音视频流同步解码方法 | |
| CN110719496A (zh) | 一种多路码流封装、播放方法、装置及系统 | |
| CN115225542A (zh) | 视频信息处理方法、装置、电子设备和存储介质 | |
| TWI713364B (zh) | 藉由現有ｈｄ視訊架構編碼原始高幀率視訊的方法 | |
| CN113784094A (zh) | 视频数据处理方法、网关、终端设备及存储介质 | |
| CN113950825A (zh) | 数据传输、处理方法、可移动平台、终端设备及芯片 | |
| WO2020001431A1 (zh) | 摄像装置和播放装置 | |
| Han et al. | An implementation of capture and playback for ip-encapsulated video in professional media production | |
| KR20200011305A (ko) | 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치 | |
| US11758108B2 (en) | Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency | |
| JP5367771B2 (ja) | 映像伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19905015 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19905015 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19905015 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 03/02/2022) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19905015 Country of ref document: EP Kind code of ref document: A1 |