WO2023061137A1 - 多媒体数据的处理方法、系统及设备 - Google Patents

多媒体数据的处理方法、系统及设备 Download PDF

Info

Publication number
WO2023061137A1
WO2023061137A1 PCT/CN2022/118790 CN2022118790W WO2023061137A1 WO 2023061137 A1 WO2023061137 A1 WO 2023061137A1 CN 2022118790 W CN2022118790 W CN 2022118790W WO 2023061137 A1 WO2023061137 A1 WO 2023061137A1
Authority
WO
WIPO (PCT)
Prior art keywords
node
processing
manager
multimedia data
input
Prior art date
Application number
PCT/CN2022/118790
Other languages
English (en)
French (fr)
Inventor
王少飞
张清源
Original Assignee
北京字节跳动网络技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京字节跳动网络技术有限公司 filed Critical 北京字节跳动网络技术有限公司
Publication of WO2023061137A1 publication Critical patent/WO2023061137A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Definitions

  • the embodiments of the present disclosure relate to the technical field of computer processing, and in particular, to a multimedia data processing method, system, electronic equipment, computer-readable storage medium, computer program product, and computer program.
  • the multimedia data can be processed by a processing system.
  • the processing system may include a plurality of sequentially arranged processing nodes to process the multimedia data according to the sequence.
  • the processing may include: adjusting the playback speed, sound channel, frequency, etc. of the multimedia data.
  • Embodiments of the present disclosure provide a multimedia data processing method, system, electronic device, computer-readable storage medium, computer program product, and computer program, which can update the above-mentioned processing system while the above-mentioned processing system is performing data processing.
  • an embodiment of the present disclosure provides a multimedia data processing method, which is applied to the multimedia data processing system.
  • the processing system includes at least two processing nodes arranged in sequence, and each processing node corresponds to a An input manager and an output manager, the two adjacent processing nodes are respectively an upstream node and a downstream node, the output manager of the upstream node and the input manager of the downstream node have an association relationship, and the upstream node is
  • the downstream node generates multimedia data
  • the method includes:
  • the first processing task includes the first multimedia data
  • the second multimedia data is to process the first multimedia data in the first processing task the data obtained;
  • an embodiment of the present disclosure provides a multimedia data processing device, which is applied to the multimedia data processing system, and the processing system includes at least two processing nodes arranged in sequence, and each processing node corresponds to a An input manager and an output manager, the two adjacent processing nodes are respectively an upstream node and a downstream node, the output manager of the upstream node and the input manager of the downstream node have an association relationship, and the upstream node is The downstream node generates multimedia data, and the device includes:
  • a first processing task generation module configured to generate a first processing task when the first multimedia data exists in the first input manager of the first processing node, the first processing task includes the first multimedia data volume data;
  • a first processing task execution module configured to call the first processing node to execute the first processing task, and obtain second multimedia data, the second multimedia data is for the first processing task Data obtained by processing the first multimedia data;
  • a second data writing module configured to write the second multimedia data into a second input manager of at least one second processing node, the second input manager is connected to the first processing node The first output manager associated with the input manager.
  • an embodiment of the present disclosure provides an electronic device, including: at least one processor and a memory;
  • the memory stores computer-executable instructions
  • the at least one processor executes the computer-executed instructions stored in the memory, so that the electronic device implements the method as described in the first aspect.
  • an embodiment of the present disclosure provides a computer-readable storage medium, where computer-executable instructions are stored in the computer-readable storage medium, and when the processor executes the computer-executable instructions, the computing device implements the first aspect. the method described.
  • an embodiment of the present disclosure provides a computer program product, including a computer program, and when the computer program is executed by a processor, the content described in the first aspect is realized.
  • an embodiment of the present disclosure provides a computer program, the computer program is used to implement the method described in the first aspect.
  • Embodiments of the present disclosure provide a multimedia data processing method, system, electronic equipment, computer-readable storage medium, computer program product, and computer program.
  • the method includes: the first input manager of the first processing node has a first For multimedia data, generate a first processing task, which includes the first multimedia data; call the first processing node to execute the first processing task to obtain the second multimedia data, and the second multi-media data
  • the media data is the data obtained by processing the first multimedia data in the first processing task; the second multimedia data is written into the second input manager of at least one second processing node, and the second input manager
  • the manager is an input manager associated with the first output manager of the first processing node.
  • the embodiment of the present disclosure can realize the decoupling between the data being processed and the data to be processed through the processing task and the input manager of the downstream node, and realize updating the structure of the processing system without suspending the processing task.
  • Fig. 1 is a kind of structural representation of the processing system of the multimedia data that prior art provides;
  • FIG. 2 is a schematic structural diagram of a processing system after adding a processing node to the processing system shown in FIG. 1 provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic structural diagram of a processing system after a processing node is deleted from the processing system shown in FIG. 2 provided by an embodiment of the present disclosure
  • FIG. 4 is a schematic structural diagram of a multimedia data processing system provided by an embodiment of the present disclosure.
  • FIG. 5 is a flowchart of steps of a method for processing multimedia data provided by an embodiment of the present disclosure
  • FIG. 6 is a schematic structural diagram of a processing task provided by an embodiment of the present disclosure.
  • FIG. 7 is a schematic diagram of a scheduling process for processing tasks provided by an embodiment of the present disclosure.
  • FIG. 8 is a schematic structural diagram of a processing system after adding a fourth processing node provided by an embodiment of the present disclosure
  • FIG. 9 is a structural block diagram of an apparatus for processing multimedia data provided by an embodiment of the present disclosure.
  • Fig. 10 and Fig. 11 are structural block diagrams of two kinds of electronic devices provided for the embodiments of the present disclosure.
  • the embodiments of the present disclosure can be applied to a multimedia data processing system.
  • the data processing system may include multiple processing nodes arranged in sequence, and the number of processing nodes may be set according to actual application scenarios. , each processing node is used to process multimedia data, and processing logics of different processing nodes may be the same or different.
  • the two adjacent processing nodes can be called an upstream node and a downstream node.
  • the multimedia data output by the upstream node is the multimedia data input by the downstream node. That is to say, after the upstream node processes the multimedia data, it is then processed by the downstream node.
  • FIG. 1 is a schematic structural diagram of a multimedia data processing system provided in the prior art.
  • the processing system includes five processing nodes arranged in sequence: ND1 to ND5.
  • ND1 is an upstream node of ND2
  • ND2 is a downstream node of ND1, and so on.
  • ND1 processes the multimedia data D1 input to the processing system to obtain multimedia data D2, the multimedia data D2 output by ND1 is input to ND2 for processing to obtain multimedia data D3, and the multimedia data D3 output by ND2 is input to ND3 for processing to obtain multimedia data
  • the multimedia data D4 output by ND3 is input to ND4 for processing to obtain multimedia data D5
  • the multimedia data D5 output by ND4 is input to ND5 for multimedia processing to obtain data D6.
  • Each of the foregoing processing nodes may be a multimedia processor provided by an open source multimedia processing framework, wherein the open source multimedia processing framework may be, for example, Ffmpeg or Gstreamer.
  • the open source multimedia processing framework is Ffmpeg
  • the multimedia processor can be avfilter provided by Ffmpeg.
  • each processing node mentioned above may be different.
  • ND1 is used to pull the video stream
  • ND2 is used for video decoding
  • ND3 is used for image sharpening
  • ND4 is used for confluence layout
  • ND5 is used for decoding.
  • the structure of the above processing system can be changed, including: adding nodes to the processing system, and deleting nodes from the processing system.
  • FIG. 2 is a schematic structural diagram of a processing system after adding processing nodes to the processing system shown in FIG. 1 provided by an embodiment of the present disclosure.
  • the added processing nodes include ND6 and ND7.
  • the upstream node of ND6 is ND1
  • the downstream node of ND6 is ND7
  • the downstream node of ND7 is ND4.
  • ND6 and ND7 constitute a new processing line.
  • the functions of the newly added ND6 and ND7 may be different from the functions of each processing node in FIG. 1 , or may be the same as the functions of some nodes in FIG. 1 .
  • ND6 is used for decoding
  • ND7 is used for image segmentation.
  • FIG. 3 is a schematic structural diagram of a processing system after a processing node is deleted from the processing system shown in FIG. 2 provided by an embodiment of the present disclosure.
  • the deleted processing nodes include: ND2 and ND3.
  • data queues are shared between two adjacent processing nodes. That is to say, while the upstream node writes data into the data queue, the downstream node fetches data from the data queue. In this case, the data to be processed by the downstream node is not distinguished from the data being processed, and they are all in the data queue. Therefore, in order to ensure that the processing process of the downstream processing nodes does not report an error, before updating the structure of the processing system, it is necessary to suspend the processing process of each processing node in the above-mentioned processing system. After the structure of the processing system is updated, the processing of each processing node in the processing system continues to be executed.
  • the embodiments of the present disclosure can update the structure of the processing system without suspending the processing system.
  • the reason why the processing system needs to be suspended is that the data to be processed and the data being processed in the downstream nodes are not distinguished
  • the embodiments of the present disclosure can realize the distinction between the data being processed and the data to be processed through the processing task and the input manager of the downstream node. decoupling between.
  • the processing task includes the data being processed by the downstream node
  • the input manager of the downstream node includes the data to be processed by the downstream node.
  • updating the structure of the processing system will not affect the execution of the processing tasks, so that the structure of the processing system can be updated without suspending the processing tasks, and the processing efficiency of the processing system can be improved.
  • the processing system provided by the embodiment of the present disclosure also includes at least two processing nodes arranged in sequence. But the difference is that each processing node in the embodiment of the present disclosure corresponds to an input manager and an output manager, and the two adjacent processing nodes are the upstream node and the downstream node respectively, and the output manager of the upstream node and the input manager of the downstream node Devices have an association relationship, and the upstream node generates multimedia data for the downstream node.
  • Fig. 4 is a schematic structural diagram of a multimedia data processing system provided by an embodiment of the present disclosure.
  • the processing system includes three processing nodes ND1 to ND3 arranged in sequence.
  • ND1 and ND2 are two adjacent processing nodes, ND1 is an upstream node of ND2, and ND2 is a downstream node of ND1.
  • the output manager OM1 of ND1 has an association relationship with the input manager IM2 of ND2.
  • ND2 and ND3 are two adjacent processing nodes, ND2 is an upstream node of ND3, and ND3 is a downstream node of ND2.
  • the output manager OM2 of ND2 has an associated relationship with the input manager IM3 of ND3.
  • the input manager IM1 of the first processing node ND1 has no associated output manager.
  • the first processing node may generally be a node receiving data, and the first processing node may be started according to a time period, for example, every 1 minute.
  • the output manager OM3 of the last processing node ND3 has no associated input manager.
  • the last processing node usually has no output data, which is usually used to store the data.
  • the above-mentioned input manager is used to store the input data of the processing node, and the output manager is used to indicate to which input manager the output data of the processing node is input, that is, to designate the downstream node of the processing node.
  • Fig. 5 is a flowchart of steps of a method for processing multimedia data provided by an embodiment of the present disclosure.
  • the method shown in FIG. 5 can be applied in an electronic device, and the electronic device can be understood as a scheduler, or a controller, or an engine of the above-mentioned processing system.
  • Shown in Fig. 5 with reference to, the processing method of this multimedia data comprises:
  • the first processing node is any processing node in the processing system shown in FIG. 4 above.
  • the first input manager is an input manager of the first processing node
  • the first multimedia data is multimedia data to be processed by the first processing node
  • the first processing task is a processing task of the first processing node.
  • a processing node can correspond to one or more processing tasks.
  • a processing task can be understood as a structure that stores task information, which may include at least one of the following information: identification information of a processing node, multimedia data input to an input manager of a processing node, and data output to an output manager of a processing node. Generation time of multimedia data and processing tasks.
  • Fig. 6 is a schematic structural diagram of a processing task provided by an embodiment of the present disclosure.
  • the input queue stores multimedia data input to the input manager of the processing node
  • the output queue stores multimedia data output to the output manager of the processing node.
  • the multimedia data in the input queue can be understood as the multimedia data being processed by the processing node, and the output queue is empty. After the execution of the processing task is completed, multimedia data is stored in the output queue.
  • S102 Call the first processing node to execute the first processing task to obtain second multimedia data, where the second multimedia data is data obtained by processing the first multimedia data in the first processing task.
  • the second multimedia data is stored in the output queue of the first processing task.
  • S103 Write the second multimedia data into a second input manager of at least one second processing node, where the second input manager is an input manager associated with the first output manager of the first processing node.
  • the second processing node is a downstream node of the first processing node. It can be understood that one first processing node may correspond to one or more downstream nodes.
  • the second multimedia data may be extracted from the output queue of the first processing task, and written into the second input manager.
  • FIG. 7 is a schematic diagram of a scheduling process for processing tasks provided by an embodiment of the present disclosure.
  • scheduling may be performed through the following steps:
  • S11 The engine fetches multimedia data D11 from the input manager IM1 of the processing node ND1.
  • S12 The engine generates a processing task TSK1 of ND1 according to D11, and TSK1 includes D11, an empty output queue, identification information of ND1, and a time stamp t1.
  • S13 The engine calls ND1 to execute TSK1 according to the identification information of ND1 in TSK1, and the obtained multimedia data D12 is stored in the output queue in TSK1.
  • S15 According to the identification information of ND1 in TSK1, the engine first determines the output manager OM1 of ND1, then determines the input manager IM2 associated with OM1, and writes D12 into IM2.
  • scheduling may be performed through the following steps:
  • S21 The engine fetches multimedia data D21 from the input manager IM2 of the processing node ND2.
  • S22 The engine generates a processing task TSK2 of ND2 according to D21, and TSK2 includes D21, an empty output queue, identification information of ND2, and a time stamp t2.
  • S23 The engine calls ND2 to execute TSK2 according to the identification information of ND2 in TSK2, and the obtained multimedia data D22 is stored in the output queue in TSK2.
  • S25 According to the identification information of ND2 in TSK2, the engine first determines the output manager OM2 of ND2, then determines the input manager IM3 associated with OM2, and writes D22 into IM3.
  • scheduling may be performed through the following steps:
  • S31 The engine fetches multimedia data D31 from the input manager IM3 of the processing node ND3.
  • S32 The engine generates a processing task TSK3 of ND3 according to D31, and TSK2 includes D31, an empty output queue, identification information of ND3, and a time stamp t3.
  • S33 The engine calls ND3 to execute TSK3 according to the identification information of ND3 in TSK3.
  • S34 The engine determines that there is no data in the output queue in TSK3, which means that ND3 is the last processing node.
  • a processing node may include a plurality of such processing tasks, and the identification information of the processing nodes in different processing tasks of a processing node is the same, but the following content is different: multimedia data in the input queue, multimedia data in the output queue Multimedia data, time stamp.
  • updating the structure of the processing system may include: deleting the third processing node and adding a fourth processing node.
  • the third processing node is any processing node to be deleted in the processing system.
  • the fourth processing node is any processing node to be added.
  • the process of deleting the third processing node may include: firstly, determining the third processing node to be deleted in the processing system and the first adjacent node of the third processing node, the first adjacent processing node may include At least one of the following: the first upstream node, the first downstream node; then, delete the association relationship between the input manager of the third processing node and the output manager of the first upstream node, and/or delete the third processing node The association relationship between the output manager of and the input manager of the first downstream node.
  • the third processing node When the third processing node is the first processing node in the processing system, the third processing node has a first downstream node but does not have a first upstream node. At this point, it is only necessary to delete the association relationship between the output manager of the third processing node and the input manager of the first downstream node.
  • the third processing node When the third processing node is the last processing node in the processing system, the third processing node has the first upstream node but does not have the first downstream node. At this point, it is only necessary to delete the association relationship between the input manager of the third processing node and the output manager of the first upstream node.
  • the first upstream node is an upstream node of the third processing node
  • the first downstream node is a downstream node of the third processing node
  • the embodiment of the present disclosure can delete the association relationship between the input manager of the third processing node and the output manager of the first upstream node, and delete the output manager of the third processing node and the input manager of the first downstream node The association relationship among them realizes the purpose of deleting the third processing node.
  • the third processing node is the first processing node or the last processing node
  • the association relationship among the remaining processing nodes in the processing system is not destroyed, and a complete processing system. At this time, no repairs to the processing system are required.
  • the third processing node is an intermediate processing node
  • the first upstream node and the first downstream node are disconnected.
  • the processing system is not repaired.
  • ND4 is the third processing node, after ND4 is deleted, the first upstream node ND1 has a downstream node ND2, and the first downstream node ND2 has an upstream node ND1. At this point, the processing system may not be repaired.
  • the processing system is repaired, that is, a connection between the output manager of the first upstream node and the input manager of the first downstream node is established relationship. In this way, it can be ensured that the links of the entire processing system are connected.
  • ND2 is the third processing node, after ND2 is deleted, both the first upstream nodes ND1 and ND4 have no downstream nodes, and the first downstream node ND3 has no upstream nodes.
  • an association relationship between the output manager OM1 of the first upstream node ND1 and the input manager IM3 of the first downstream node ND3 can be established, and the input management of the first upstream node ND4 and the first downstream node ND3 can be established.
  • the third processing node may also be released, so as to save computer resources occupied by the third processing node.
  • a first flag can be set in the output manager of the first upstream node, and the first flag is used to indicate that the first The processing task of the upstream node stops generating multimedia data to the input manager of the third processing node.
  • the first flag is only set for the input manager of the third processing node, and the input managers of the remaining downstream nodes do not set first mark. In this way, only the processing tasks of generating data for the third processing node are stopped, and the processing tasks of generating data for other downstream nodes are not stopped. In this way, the first upstream node will not continue to generate data for the third processing node, and then wait for the generated data stored in the input manager of the third processing node to be processed by the third processing node, then the first upstream node can be deleted The association relationship between the output manager of the node and the input manager of the third processing node.
  • the association relationship between the input manager of the third processing node and the output manager of the first upstream node it needs to be determined whether the first preset condition is satisfied. If the first preset condition is satisfied, the association relationship between the input manager of the third processing node and the output manager of the first upstream node is deleted. If the first preset condition is not satisfied, the association relationship between the input manager of the third processing node and the output manager of the first upstream node is not deleted.
  • the above-mentioned first preset condition may include at least one of the following: no target processing task exists, and the fourth multimedia data does not exist in the input manager of the third processing node.
  • the target processing task is a processing task being executed by the first upstream node, and the target processing task is used to generate multimedia data for the input manager of the third processing node.
  • the above fourth multimedia data is multimedia data in the input manager of the third processing node, that is, multimedia data to be processed by the third processing node.
  • the third processing node is ND2 in the processing system shown in FIG. 4
  • the first upstream node is ND1
  • the first downstream node is ND3
  • the target processing task is the processing task that ND1 is executing and generates multimedia data for ND2.
  • the input manager of the third processing node is IM2.
  • the fourth multimedia data does not exist in the input manager of the third processing node, which means that there is no multimedia data to be processed in the third processing node.
  • the absence of a target processing task means that there is no processing task generating multimedia data to be processed for the third processing node.
  • the fourth multimedia data exists in the input manager of the third processing node, first, generate a second processing task, including the fourth multimedia data in the second processing task; then, delete the third processing node The association relationship between the input manager and the output manager of the first upstream node.
  • the fourth multimedia data is loaded into the second processing task, and the input manager of the third processing node no longer stores the fourth multimedia data.
  • the association relationship between the input manager of the third processing node and the output manager of the first upstream node may be deleted.
  • the engine may call the third processing node to execute the second processing task, and after the execution of the second processing task is completed, the computer resource occupied by the third processing node is released.
  • the association relationship between the output manager of the third processing node and the input manager of the first downstream node it is necessary to determine whether the second preset condition is satisfied. If the second preset condition is satisfied, the association relationship between the output manager of the third processing node and the input manager of the first downstream node is deleted. If the second preset condition is not satisfied, the association relationship between the output manager of the third processing node and the input manager of the first downstream node is not deleted.
  • the above-mentioned second preset condition may include: there is no multimedia data in the input manager of the third processing node, and/or there is no processing task being executed by the third processing node. It means that the third processing node will not generate multimedia data for the second downstream node, so that the obtained There is no input manager for multimedia data that can be input, resulting in the processed data being discarded. Furthermore, it is avoided that some fragments are missing during the playing process of the multimedia data, which helps to improve the playing smoothness of the multimedia data.
  • the process of adding the fourth processing node may include: first, determining the fourth processing node to be added, the second adjacent node of the fourth processing node, the second adjacent node includes the second upstream node and /or the second downstream node, the second upstream node and the second downstream node are existing processing nodes in the processing system; then, an association between the output manager of the second upstream node and the input manager of the fourth processing node is established relationship, and/or, establish an association relationship between the output manager of the fourth processing node and the input manager of the second downstream node.
  • the fourth processing node is a processing node with any function to be added, and the fourth processing node is added between the second upstream node and the second downstream node in the existing processing system.
  • the second upstream node and the second downstream node may be two adjacent processing nodes, or may be two non-adjacent processing nodes.
  • FIG. 8 is a schematic structural diagram of a processing system after adding a fourth processing node provided by an embodiment of the present disclosure.
  • ND4 is the fourth processing node
  • its second upstream node is ND1
  • its second downstream node is ND2. Therefore, when adding ND4, the association relationship between the output manager OM1 of the second upstream node ND1 and the input manager IM4 of the fourth processing node ND4 is established first, and then the output manager OM4 of the fourth processing node ND4 and the second The association relationship between the input managers IM2 of the downstream node ND2. In this way, the purpose of adding the fourth processing node ND4 between ND1 and ND2 in the processing system shown in FIG. 4 is achieved, and the processing system shown in FIG. 8 is obtained.
  • the fourth processing node may not have a second upstream node or a second downstream node.
  • the fourth processing node When the fourth processing node is added before the first processing node ND1 shown in FIG. 4 , the second upstream node does not exist in the fourth processing node, and the second downstream node ND1 exists. After addition, the fourth processing node is the new first processing node of the processing system.
  • the fourth processing node When the fourth processing node is added after the last processing node ND3 shown in FIG. 4, the second downstream node does not exist for the fourth processing node, and the second upstream node ND3 exists. After addition, the fourth processing node is the new last processing node of the processing system.
  • FIG. 9 is a structural block diagram of a device for processing multimedia data provided by an embodiment of the present disclosure, which is applied to the foregoing multimedia data processing system. For ease of description, only the parts related to the embodiments of the present disclosure are shown.
  • the multimedia data processing apparatus 200 includes: a first processing task generation module 201 , a first processing task execution module 202 and a second data writing module 203 .
  • the first processing task generation module 201 is configured to generate a first processing task when the first multimedia data exists in the first input manager of the first processing node, and the first processing task includes the first - multimedia data.
  • the first processing task execution module 202 is configured to call the first processing node to execute the first processing task to obtain second multimedia data, and the second multimedia data is for the first processing task The data obtained by processing the first multimedia data.
  • the second data writing module 203 is configured to write the second multimedia data into a second input manager of at least one second processing node, the second input manager is connected to the first processing node The input manager associated with the node's first output manager.
  • the device also includes:
  • a third node determining module configured to determine a third processing node to be deleted in the processing system, a first adjacent node of the third processing node, the first adjacent node includes: a first upstream node and/or or the first downstream node.
  • a relationship deletion module configured to delete the association relationship between the input manager of the third processing node and the output manager of the first upstream node, and/or delete the output manager of the third processing node and the The association relationship between the input managers of the first downstream node.
  • the device also includes:
  • a marking module configured to set the first A flag, where the first flag is used to instruct the processing task of the first upstream node to stop generating multimedia data to the input manager of the third processing node.
  • the relationship deletion module is also used for:
  • the relationship removal module is also used to:
  • the relationship removal module is also used to:
  • a second processing task is generated, the second processing task includes the fourth multimedia data; and the fourth multimedia data is deleted; Three process the association relationship between the input manager of the node and the output manager of the first upstream node.
  • the relationship removal module is also used to:
  • the third processing node when the third processing node has the first upstream node and the first downstream node, it further includes:
  • a relationship repair module configured to establish the first upstream node if the first upstream node has no downstream node after deleting the two association relationships, and/or the first downstream node has no upstream node An association relationship between the output manager and the input manager of the first downstream node.
  • the device also includes:
  • a fourth node determination module configured to determine a fourth processing node to be added, a second adjacent node of the fourth processing node, the second adjacent node includes a second upstream node and/or a second downstream node,
  • the second upstream node and the second downstream node are existing processing nodes in the processing system.
  • a relationship establishing module configured to establish an association relationship between the output manager of the second upstream node and the input manager of the fourth processing node, and/or, establish the relationship between the output manager of the fourth processing node and the The association relationship between the input managers of the second downstream node.
  • the processing task of each processing node includes at least one of the following information: identification information of the processing node, multimedia data input to the input manager of the processing node, output to the processing node The multimedia data in the output manager, the generation time of the processing task.
  • the device for processing multimedia data provided in this embodiment can be used to execute the technical solution of the method embodiment shown in FIG. 5 above, and its implementation principle and technical effect are similar, and details will not be repeated here in this embodiment.
  • Fig. 10 is a structural block diagram of an electronic device 600 provided by an embodiment of the present disclosure.
  • the electronic device 600 includes a memory 602 and at least one processor 601;
  • the memory 602 stores computer-executable instructions
  • At least one processor 601 executes the computer-executed instructions stored in the memory 602, so that the electronic device 601 implements the aforementioned method in FIG. 5 .
  • the electronic device may also include a receiver 603 and a transmitter 604, the receiver 603 is used to receive information from other devices or devices and forwards it to the processor 601, and the transmitter 604 is used to send information to other devices or devices .
  • FIG. 11 it shows a schematic structural diagram of an electronic device 900 suitable for implementing the embodiments of the present disclosure
  • the electronic device 900 may be a terminal device.
  • the terminal equipment may include but not limited to mobile phones, notebook computers, digital broadcast receivers, personal digital assistants (Personal Digital Assistant, PDA for short), tablet computers (Portable Android Device, PAD for short), portable multimedia players (Portable Media Player, referred to as PMP), mobile terminals such as vehicle-mounted terminals (such as vehicle-mounted navigation terminals), and fixed terminals such as digital TVs and desktop computers.
  • PDA Personal Digital Assistant
  • PMP portable multimedia players
  • mobile terminals such as vehicle-mounted terminals (such as vehicle-mounted navigation terminals)
  • fixed terminals such as digital TVs and desktop computers.
  • the electronic device shown in FIG. 11 is only an example, and should not limit the functions and application scope of the embodiments of the present disclosure.
  • an electronic device 900 may include a processing device (such as a central processing unit, a graphics processing unit, etc.) 901, which may be stored in a read-only memory (Read Only Memory, referred to as ROM) 902 or from a storage device. 908 loads the programs in the random access memory (Random Access Memory, RAM for short) 903 to execute various appropriate actions and processes. In the RAM 903, various programs and data necessary for the operation of the electronic device 900 are also stored.
  • the processing device 901, ROM 902, and RAM 903 are connected to each other through a bus 904.
  • An input/output (I/O) interface 905 is also connected to the bus 904 .
  • an input device 906 including, for example, a touch screen, a touchpad, a keyboard, a mouse, a camera, a microphone, an accelerometer, a gyroscope, etc.; ), a speaker, a vibrator, etc.
  • a storage device 908 including, for example, a magnetic tape, a hard disk, etc.
  • the communication means 909 may allow the electronic device 900 to perform wireless or wired communication with other devices to exchange data. While FIG. 11 shows electronic device 900 having various means, it is to be understood that implementing or having all of the means shown is not a requirement. More or fewer means may alternatively be implemented or provided.
  • embodiments of the present disclosure include a computer program product, which includes a computer program carried on a computer-readable medium, where the computer program includes program codes for executing the methods shown in the flowcharts.
  • the computer program may be downloaded and installed from a network via communication means 909, or from storage means 908, or from ROM 902.
  • the processing device 901 the above-mentioned functions defined in the methods of the embodiments of the present disclosure are executed.
  • the above-mentioned computer-readable medium in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium or any combination of the above two.
  • a computer readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination thereof.
  • Computer-readable storage media may include, but are not limited to, electrical connections with one or more wires, portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable Programmable Read Only Memory (Erasable Programmable Read Only Memory, EPROM or flash memory), optical fiber, portable compact disk read only memory (Compact Disk Read Only Memory, CD-ROM), optical storage device, magnetic storage device, or any suitable one of the above combination.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave carrying computer-readable program code therein. Such propagated data signals may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, which can transmit, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device .
  • the program code contained on the computer readable medium can be transmitted by any appropriate medium, including but not limited to: electric wire, optical cable, radio frequency (Radio Frequency, RF), etc., or any suitable combination of the above.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device, or may exist independently without being incorporated into the electronic device.
  • the above-mentioned computer-readable medium carries one or more programs, and when the above-mentioned one or more programs are executed by the electronic device, the electronic device is made to execute the methods shown in the above-mentioned embodiments.
  • Computer program code for carrying out the operations of the present disclosure can be written in one or more programming languages, or combinations thereof, including object-oriented programming languages—such as Java, Smalltalk, C++, and conventional Procedural Programming Language - such as "C" or a similar programming language.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.
  • the remote computer can be connected to the user's computer through any kind of network, including a Local Area Network (LAN) or a Wide Area Network (WAN), or it can be connected to an external A computer (connected via the Internet, eg, using an Internet service provider).
  • LAN Local Area Network
  • WAN Wide Area Network
  • each block in a flowchart or block diagram may represent a module, program segment, or portion of code that contains one or more logical functions for implementing specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by a dedicated hardware-based system that performs the specified functions or operations , or may be implemented by a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments described in the present disclosure may be implemented by software or by hardware. Wherein, the name of the unit does not constitute a limitation of the unit itself under certain circumstances, for example, the first obtaining unit may also be described as "a unit for obtaining at least two Internet Protocol addresses".
  • exemplary types of hardware logic components include: Field Programmable Gate Arrays (Field Programmable Gate Arrays, FPGAs), Application Specific Integrated Circuits (ASICs), Application Specific Standard Products (Application Specific Standard Product, ASSP), System on Chip (System ON Chip, SOC), Complex Programmable Logic Device (Complex Programmable Logic Device, CPLD), etc.
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in conjunction with an instruction execution system, apparatus, or device.
  • a machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • a machine-readable medium may include, but is not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, apparatus, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer discs, hard drives, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), optical fiber, compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM compact disk read only memory
  • magnetic storage or any suitable combination of the foregoing.
  • an embodiment of the present disclosure provides a method for processing multimedia data, which is applied to a system for processing multimedia data, where the processing system includes at least two processing nodes arranged in sequence, Each processing node corresponds to an input manager and an output manager, and the two adjacent processing nodes are respectively an upstream node and a downstream node, and the output manager of the upstream node and the input manager of the downstream node have Association relationship, the upstream node generates multimedia data for the downstream node, and the method includes:
  • the first processing task includes the first multimedia data
  • the second multimedia data is to process the first multimedia data in the first processing task the data obtained;
  • the method further includes: determining the third processing node to be deleted in the processing system, the first Adjacent nodes, the first adjacent node includes: a first upstream node and/or a first downstream node; deleting the input manager of the third processing node and the output manager of the first upstream node an association relationship, and/or, delete the association relationship between the output manager of the third processing node and the input manager of the first downstream node.
  • the deleting the association relationship between the input manager of the third processing node and the output manager of the first upstream node Previously also included:
  • the deleting the association relationship between the input manager of the third processing node and the output manager of the first upstream node include:
  • the deletion of the association between the input manager of the third processing node and the output manager of the first upstream node includes:
  • the deleting the association relationship between the input manager of the third processing node and the output manager of the first upstream node include:
  • a second processing task is generated, the second processing task includes the fourth multimedia data; and the fourth multimedia data is deleted; Three process the association relationship between the input manager of the node and the output manager of the first upstream node.
  • the deletion of the output manager of the third processing node and the input manager of the first downstream node relationships including:
  • the third processing node when the third processing node has the first upstream node and the first downstream node, further include:
  • the first upstream node has no downstream node, and/or, the first downstream node has no upstream node, then establish the output manager of the first upstream node and the The relationship between the input managers of the first downstream node.
  • the ninth example of the first aspect it further includes:
  • a fourth processing node to be added a second adjacent node of the fourth processing node, the second adjacent node includes a second upstream node and/or a second downstream node, the second upstream node and the
  • the second downstream node is an existing processing node in the processing system; establishing an association relationship between the output manager of the second upstream node and the input manager of the fourth processing node, and/or establishing An association relationship between the output manager of the fourth processing node and the input manager of the second downstream node.
  • the processing task of each processing node includes at least one of the following information: identification information of the processing node , multimedia data input to the input manager of the processing node, multimedia data output to the output manager of the processing node, and generation time of the processing task.
  • a multimedia data processing device which is applied in the multimedia data processing system, and the processing system includes at least two processing nodes arranged in sequence, each of the A processing node corresponds to an input manager and an output manager, and the two adjacent processing nodes are an upstream node and a downstream node respectively, and the output manager of the upstream node and the input manager of the downstream node have an association relationship, so
  • the upstream node generates multimedia data for the downstream node
  • the device includes:
  • a first processing task generation module configured to generate a first processing task when the first multimedia data exists in the first input manager of the first processing node, the first processing task includes the first multimedia data volume data.
  • a first processing task execution module configured to call the first processing node to execute the first processing task, and obtain second multimedia data, the second multimedia data is for the first processing task Data obtained by processing the first multimedia data.
  • a second data writing module configured to write the second multimedia data into a second input manager of at least one second processing node, the second input manager is connected to the first processing node The first output manager associated with the input manager.
  • the device further includes:
  • a third node determining module configured to determine a third processing node to be deleted in the processing system, a first adjacent node of the third processing node, the first adjacent node includes: a first upstream node and/or or the first downstream node.
  • a relationship deletion module configured to delete the association relationship between the input manager of the third processing node and the output manager of the first upstream node, and/or delete the output manager of the third processing node and the The association relationship between the input managers of the first downstream node.
  • the device further includes:
  • a marking module configured to set the first A flag, where the first flag is used to instruct the processing task of the first upstream node to stop generating multimedia data to the input manager of the third processing node.
  • the relationship deletion module is further configured to:
  • the relationship deletion module is also used for:
  • the relationship deletion module is also used to:
  • a second processing task is generated, the second processing task includes the fourth multimedia data; and the fourth multimedia data is deleted; Three process the association relationship between the input manager of the node and the output manager of the first upstream node.
  • the relationship deletion module is further configured to:
  • the third processing node when the third processing node has the first upstream node and the first downstream node, further include:
  • a relationship repair module configured to establish the first upstream node if the first upstream node has no downstream node after deleting the two association relationships, and/or the first downstream node has no upstream node An association relationship between the output manager and the input manager of the first downstream node.
  • the device further includes:
  • a fourth node determination module configured to determine a fourth processing node to be added, a second adjacent node of the fourth processing node, the second adjacent node includes a second upstream node and/or a second downstream node,
  • the second upstream node and the second downstream node are existing processing nodes in the processing system.
  • a relationship establishing module configured to establish an association relationship between the output manager of the second upstream node and the input manager of the fourth processing node, and/or, establish the relationship between the output manager of the fourth processing node and the The association relationship between the input managers of the second downstream node.
  • the processing task of each processing node includes at least one of the following information: identification information of the processing node , multimedia data input to the input manager of the processing node, multimedia data output to the output manager of the processing node, and generation time of the processing task.
  • an electronic device including: at least one processor and a memory;
  • the memory stores computer-executable instructions
  • the at least one processor executes the computer-executed instructions stored in the memory, so that the electronic device implements the method according to any one of the first aspect.
  • a computer-readable storage medium stores computer-executable instructions, and when a processor executes the computer-executable instructions, Making a computing device implement the method of any one of the first aspects.
  • a computer program product including a computer program, and the computer program is used to implement the method described in any one of the first aspect.
  • a computer program is provided, the computer program is used to implement the method described in any one of the first aspect.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种多媒体数据的处理方法、系统、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，涉及计算机处理技术领域。该方法包括：在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，第一处理任务中包括所述第一多媒体数据（S101）；调用第一处理节点执行第一处理任务，得到第二多媒体数据，第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据（S102）；将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器（S103）。该方法通过处理任务和下游节点的输入管理器，实现正在处理的数据和待处理的数据之间的解耦合，实现了不暂停处理任务的情况下，更新处理系统的结构。

Description

多媒体数据的处理方法、系统及设备
相关申请的交叉应用
本公开要求于2021年10月12日提交中国专利局、申请号为202111188642.5、申请名称为“多媒体数据的处理方法、系统及设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开实施例涉及计算机处理技术领域，尤其涉及一种多媒体数据的处理方法、系统、电子设备、计算机可读存储介质、计算机程序产品及计算机程序。
背景技术
随着电子设备的迅速发展，电子设备的功能日益强大，可以对多媒体数据进行处理。具体地，可以通过一个处理系统对多媒体数据进行处理。其中，该处理系统可以包括多个顺序排列的处理节点，以按照该顺序对多媒体数据进行处理。该处理可以包括：调整多媒体数据的播放速度、声道、频率等。
如何在上述处理系统进行数据处理的同时，对上述处理系统进行更新是亟待解决的问题。
发明内容
本公开实施例提供一种多媒体数据的处理方法、系统、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，可以在上述处理系统进行数据处理的同时，对上述处理系统进行更新。
第一方面，本公开实施例提供一种多媒体数据的处理方法，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述方法包括：
在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据；
调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据；
将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
第二方面，本公开实施例提供一种多媒体数据的处理装置，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述装置包括：
第一处理任务生成模块，用于在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据；
第一处理任务执行模块，用于调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据；
第二数据写入模块，用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，使计算设备实现如第一方面所述的方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的内容。
第六方面，本公开实施例提供一种计算机程序，所述计算机程序用于实现如第一方面所述的方法。
本公开实施例提供了一种多媒体数据的处理方法、系统、电子设备、计算机可读存储介质、计算机程序产品及计算机程序，该方法包括：在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，第一处理任务中包括所述第一多媒体数据；调用第一处理节点执行第一处理任务，得到第二多媒体数据，第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据；将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器。本公开实施例可以通过处理任务和下游节点的输入管理器，实现正在处理的数据和待处理的数据之间的解耦合，实现了不暂停处理任务的情况下，更新处理系统的结构。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的多媒体数据的处理系统的一种结构示意图；
图2是本公开实施例提供的向图1所示的处理系统添加处理节点之后的处理系统结构示意图；
图3是本公开实施例提供的从图2所示的处理系统中删除处理节点之后的处理系统结构示意图；
图4是本公开实施例提供的多媒体数据的处理系统的一种结构示意图；
图5是本公开实施例提供的一种多媒体数据的处理方法的步骤流程图；
图6是本公开实施例提供的处理任务的一种结构示意图；
图7是本公开实施例提供的对处理任务的调度过程示意图；
图8是本公开实施例提供的一种添加第四处理节点之后的处理系统结构示意图；
图9是为本公开实施例提供的一种多媒体数据的处理装置的结构框图；
图10、图11是为本公开实施例提供的两种电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开实施例可以应用于多媒体数据的处理系统中。数据处理系统可以包括顺序排列的多个处理节点，处理节点的数量可以根据实际应用场景设定。，每个处理节点用于对多媒体数据进行处理，不同处理节点的处理逻辑可以相同，也可以不同。相邻两个处理节点可以称为上游节点和下游节点，上游节点输出的多媒体数据是下游节点输入的多媒体数据，也就是说，上游节点对多媒体数据处理之后，再由下游节点对其进行处理。
图1是现有技术提供的多媒体数据的处理系统的一种结构示意图。参照图1所示，处理系统包括顺序排列的五个处理节点：ND1至ND5。其中，ND1是ND2的上游节点，ND2是ND1的下游节点，依次类推。从而，ND1对输入到处理系统的多媒体数据D1进行处理得到多媒体数据D2，ND1输出的多媒体数据D2输入到ND2中进行处理得到多媒体数据D3，ND2输出的多媒体数据D3输入到ND3中进行处理得到多媒体数据D4，ND3输出的多媒体数据D4输入到ND4中进行处理得到多媒体数据D5，ND4输出的多媒体数据D5输入到ND5中进行多媒体处理得到数据D6。如此，相当于将D1通过处理系统处理得到D6。
上述每个处理节点可以是开源多媒体处理框架提供的多媒体处理器，其中，开源多媒体处理框架可以例如为Ffmpeg、Gstreamer。当开源多媒体处理框架为Ffmpeg时，多媒体处理器可以是Ffmpeg提供的avfilter。
上述每个处理节点的功能可以不同。当上述ND1用于拉取视频流，ND2用于进行视频解码，ND3用于进行图像锐化，ND4用于合流布局，ND5用于解码时。
上述处理系统的结构可以变更，包括：向处理系统中添加节点、从处理系统中删除节点。
图2是本公开实施例提供的向图1所示的处理系统添加处理节点之后的处理系统结构示意图。参照图2所示，添加的处理节点包括ND6和ND7。ND6的上游节点为ND1，ND6的下游节点为ND7，ND7的下游节点为ND4。如此，ND6和ND7构成了一条新的处理线。新增的ND6和ND7的功能可以不同于图1中的各个处理节点的功能，也可以与图1中的部分节点的功能相同。例如，ND6用于进行解码，ND7用于进行图像分割。
图3是本公开实施例提供的从图2所示的处理系统中删除处理节点之后的处理系统结构示意图。参照图2和图3所示，被删除的处理节点包括：ND2和ND3。
现有技术中，相邻两个处理节点之间共用数据队列。也就是说，上游节点向该数据队列中写入数据的同时，下游节点从该数据队列中取数据。在这种情况下，下游节点待处理的数 据和正在处理的数据是不区分的，均在该数据队列中。从而，为了保证下游处理节点的处理过程不报错，在更新处理系统的结构之前，需要暂停上述处理系统中的各个处理节点的处理过程。在更新处理系统的结构之后，继续执行处理系统中的各个处理节点的处理过程。
可以看出，上述方案需要暂停处理系统，降低了处理系统的处理效率。
为了解决上述技术问题，本公开实施例可以在不需要暂停处理系统的前提下，更新处理系统的结构。考虑到需要暂停处理系统的原因是下游节点待处理的数据和正在处理的数据不区分，本公开实施例可以通过处理任务和下游节点的输入管理器，实现正在处理的数据和待处理的数据之间的解耦合。其中，处理任务中包括下游节点正在处理的数据，下游节点的输入管理器中包括下游节点待处理的数据。如此，更新处理系统的结构，不会影响处理任务的执行，从而实现了不暂停处理任务的情况下，更新处理系统的结构，提高了处理系统的处理效率。
下面以具体地实施例对本公开实施例的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开实施例进行描述。
与图1所示的处理系统相同，本公开实施例提供的处理系统也包括顺序排列的至少两个处理节点。但区别在于，本公开实施例中的每个处理节点对应有输入管理器和输出管理器，相邻两个处理节点分别为上游节点和下游节点，上游节点的输出管理器和下游节点的输入管理器具有关联关系，上游节点为下游节点生成多媒体数据。
图4是本公开实施例提供的多媒体数据的处理系统的一种结构示意图。参照图4所示，处理系统包括顺序排列的三个处理节点ND1至ND3。
其中，ND1和ND2为两个相邻处理节点，ND1是ND2的上游节点，ND2是ND1的下游节点。ND1的输出管理器OM1和ND2的输入管理器IM2具有关联关系。
ND2和ND3为两个相邻处理节点，ND2是ND3的上游节点，ND3是ND2的下游节点。ND2的输出管理器OM2和ND3的输入管理器IM3具有关联关系。
可以看出，第一个处理节点ND1的输入管理器IM1没有相关联的输出管理器。第一个处理节点通常可以为接收数据的节点，第一个处理节点可以按照时间周期启动，例如，每隔1分钟启动一次。
此外，最后一个处理节点ND3的输出管理器OM3没有相关联的输入管理器。最后一个处理节点通常没有输出数据，其通常用于将数据进行存储。
上述输入管理器用于存储处理节点的输入数据，输出管理器用于指示处理节点的输出数据输入到哪个输入管理器中，也就是用于指定该处理节点的下游节点。
图5是本公开实施例提供的一种多媒体数据的处理方法的步骤流程图。图5所示的方法可以应用在电子设备中，该电子设备可以理解为上述处理系统的调度器、或控制器、或引擎。参照图5所示，该多媒体数据的处理方法包括：
S101：在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，第一处理任务中包括所述第一多媒体数据。
其中，第一处理节点是上述图4所示的处理系统中的任一处理节点。第一输入管理器是第一处理节点的输入管理器，第一多媒体数据是第一处理节点待处理的多媒体数据，第一处理任务是第一处理节点的处理任务。一个处理节点可以对应一个或多个处理任务。
处理任务可以理解为一个存储任务信息的结构，其中可以包括以下至少一种信息：处理节点的标识信息、输入到处理节点的输入管理器中的多媒体数据、输出到处理节点的输出管理器中的多媒体数据、处理任务的生成时间。
图6是本公开实施例提供的处理任务的一种结构示意图。参照图6所示，输入队列中存储输入到处理节点的输入管理器中的多媒体数据，输出队列中存储输出到处理节点的输出管理器中的多媒体数据。
需要说明的是，在生成处理任务之后，输入队列中的多媒体数据可以理解为处理节点正在处理的多媒体数据，输出队列为空。在处理任务执行完成之后，输出队列中存储有多媒体数据。
S102：调用第一处理节点执行第一处理任务，得到第二多媒体数据，第二多媒体数据是对第一处理任务中的第一多媒体数据处理得到的数据。
其中，在第一处理任务执行完成时，第二多媒体数据存储于第一处理任务的输出队列中。
S103：将第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，第二输入管理器是与第一处理节点的第一输出管理器关联的输入管理器。
其中，第二处理节点是第一处理节点的下游节点。可以理解的是，一个第一处理节点可以对应有一个或多个下游节点。
在第一处理任务执行完成时，可以从第一处理任务的输出队列中提取出第二多媒体数据，并将第二多媒体数据写入到第二输入管理器中。
基于上述S101至S103的过程，图7是本公开实施例提供的对处理任务的调度过程示意图。
参照图7所示，对于第一个处理节点ND1，可以包括通过以下步骤进行调度：
S11：引擎从处理节点ND1的输入管理器IM1中取出多媒体数据D11。
S12：引擎根据D11生成ND1的处理任务TSK1，TSK1中包括D11、空的输出队列、ND1的标识信息、时间戳t1。
S13：引擎根据TSK1中的ND1的标识信息，调用ND1执行TSK1，得到的多媒体数据D12存储于TSK1中的输出队列中。
S14：在TSK1执行完成之后，引擎从TSK1的输出队列中取出D12。
S15：引擎根据TSK1中的ND1的标识信息，先确定ND1的输出管理器OM1，再确定与OM1关联的输入管理器IM2，并将D12写入到IM2中。
参照图7所示，对于第二个处理节点ND2，可以包括通过以下步骤进行调度：
S21：引擎从处理节点ND2的输入管理器IM2中取出多媒体数据D21。
S22：引擎根据D21生成ND2的处理任务TSK2，TSK2中包括D21、空的输出队列、ND2的标识信息、时间戳t2。
S23：引擎根据TSK2中的ND2的标识信息，调用ND2执行TSK2，得到的多媒体数据D22存储于TSK2中的输出队列中。
S24：在TSK2执行完成之后，引擎从TSK2的输出队列中取出D22。
S25：引擎根据TSK2中的ND2的标识信息，先确定ND2的输出管理器OM2，再确定与OM2关联的输入管理器IM3，并将D22写入到IM3中。
参照图7所示，对于第三个处理节点ND3，可以包括通过以下步骤进行调度：
S31：引擎从处理节点ND3的输入管理器IM3中取出多媒体数据D31。
S32：引擎根据D31生成ND3的处理任务TSK3，TSK2中包括D31、空的输出队列、ND3的标识信息、时间戳t3。
S33：引擎根据TSK3中的ND3的标识信息，调用ND3执行TSK3。
S34：引擎确定TSK3中的输出队列中不存在数据，代表ND3是最后一个处理节点。
需要说明的是，上述过程对于一个处理节点仅示出了一个处理任务。而在实际应用中，一个处理节点可以包括多个这样的处理任务，一个处理节点的不同处理任务中的处理节点的标识信息相同，但以下内容不同：输入队列中的多媒体数据、输出队列中的多媒体数据、时间戳。
基于上述处理系统，本公开实施例可以在不暂停处理系统的情况下，更新处理系统的结构。其中，更新处理系统的结构可以包括：删除第三处理节点、添加第四处理节点。第三处理节点是处理系统中待删除的任一处理节点。第四处理节点是待添加的任一处理节点。
下面详细说明从处理系统中删除第三处理节点的过程。
在本公开实施例中，删除第三处理节点的过程可以包括：首先，确定处理系统中待删除的第三处理节点、第三处理节点的第一相邻节点，第一相邻处理节点可以包括以下至少一种：第一上游节点、第一下游节点；然后，删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系，和/或，删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
当第三处理节点为处理系统中的第一个处理节点时，第三处理节点存在第一下游节点，但不存在第一上游节点。此时，只需要删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
当第三处理节点为处理系统中的最后一个处理节点时，第三处理节点存在第一上游节点，但不存在第一下游节点。此时，只需要删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
其中，第一上游节点是第三处理节点的上游节点，第一下游节点是第三处理节点的下游节点。
可以理解的是，处理系统中的节点是相互关联的，如果一个节点和其余节点不关联，则代表该处理节点被从处理系统中删除。从而本公开实施例可以通过删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系，以及删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系，实现删除第三处理节点的目的。
可以理解的是，当第三处理节点在处理系统中的位置不同时，删除第三处理节点之后处理系统的结构不同。
当第三处理节点是第一个处理节点或最后一个处理节点时，删除第三处理节点之后，处理系统中剩余的各个处理节点之间的关联关系未被破坏，通过上述关联关系仍构成一个完整的处理系统。此时，不需要对处理系统进行修复。
当第三处理节点是中间处理节点时，删除第三处理节点之后，第一上游节点和第一下游节点之间断开。此时，需要根据第一上游节点是否有下游节点，和/或，第一下游节点是否有上游节点，确定是否需要对处理系统进行修复。
当第一上游节点有下游节点，且，第一下游节点有上游节点时，不对处理系统进行修复。 如图8所示，当ND4为第三处理节点时，删除ND4之后，第一上游节点ND1具有下游节点ND2，第一下游节点ND2具有上游节点ND1。此时，可以不对处理系统进行修复。
当第一上游节点没有下游节点，和/或，第一下游节点没有上游节点时，对处理系统进行修复，也就是建立第一上游节点的输出管理器和第一下游节点的输入管理器之间的关联关系。这样，可以保证整个处理系统的链路是通的。如图8所示，当ND2为第三处理节点时，删除ND2之后，第一上游节点ND1和ND4均没有下游节点，第一下游节点ND3没有上游节点。此时，可以建立第一上游节点ND1的输出管理器OM1和第一下游节点ND3之间的输入管理器IM3之间的关联关系，并且建立第一上游节点ND4和第一下游节点ND3的输入管理器IM3之间的关联关系。
当然，在删除上述两种关联关系之后，还可以释放第三处理节点，以节约第三处理节点占用的计算机资源。
在删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系之前，可以在第一上游节点的输出管理器中设置第一标记，第一标记用于指示第一上游节点的处理任务停止对第三处理节点的输入管理器生成多媒体数据。
具体地，当第一上游节点的输入管理器与至少两个下游节点的输入管理器相关联时，仅对第三处理节点的输入管理器设置第一标记，其余下游节点的输入管理器不设置第一标记。如此，仅停止为第三处理节点生成数据的处理任务，不停止对其余下游节点生成数据的处理任务。这样可以使第一上游节点不会继续为第三处理节点生成数据，再等待已生成的存储在第三处理节点的输入管理器中的数据被第三处理节点处理完，即可删除第一上游节点的输出管理器和第三处理节点的输入管理器之间的关联关系。
可选地，在删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系之前，需要判断是否满足第一预设条件。如果满足第一预设条件，则删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。如果不满足第一预设条件，则不删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
其中，上述第一预设条件可以包括以下至少一种：不存在目标处理任务、第三处理节点的输入管理器中不存在第四多媒体数据。目标处理任务是第一上游节点正在执行的处理任务，目标处理任务用于为第三处理节点的输入管理器生成多媒体数据。
上述第四多媒体数据是第三处理节点的输入管理器中的多媒体数据，也就是第三处理节点待处理的多媒体数据。
当第三处理节点为图4所示的处理系统中的ND2时，第一上游节点为ND1，第一下游节点为ND3。目标处理任务是ND1正在执行的，并且为ND2生成多媒体数据的处理任务。第三处理节点的输入管理器为IM2。
可以理解的是，第三处理节点的输入管理器中不存在第四多媒体数据，代表第三处理节点不存在待处理的多媒体数据。不存在目标处理任务代表不存在正在为第三处理节点生成待处理的多媒体数据的处理任务。在这种情况下，删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系，避免第四多媒体数据被丢弃和/或目标处理任务输出的多媒体数据被丢弃。进而避免多媒体数据在播放过程中缺失部分片段，有助于提高多媒体数据的播放平滑性。
当然，如果第三处理节点的输入管理器中存在第四多媒体数据时，首先，生成第二处理 任务，第二处理任务中包括第四多媒体数据；然后，删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
可以理解的是，在生成第二处理任务时，第四多媒体数据被装载到第二处理任务中，第三处理节点的输入管理器中不再存储第四多媒体数据。此时，可以删除第三处理节点的输入管理器和第一上游节点的输出管理器之间的关联关系。
需要说明的是，如果满足上述所有第一预设条件，则可以最大的保证多媒体数据的播放平滑性。
在生成第二处理任务之后，可以通过引擎调用第三处理节点执行第二处理任务，并在第二处理任务执行完成之后，释放第三处理节点占用的计算机资源。
相应地，在删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系之前，还需要判断是否满足第二预设条件。如果满足第二预设条件，则删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。如果不满足第二预设条件，则不删除第三处理节点的输出管理器和第一下游节点的输入管理器之间的关联关系。
其中，上述第二预设条件可以包括：第三处理节点的输入管理器中不存在多媒体数据，和/或不存在第三处理节点正在运行的处理任务。代表第三处理节点不会为第二下游节点生成多媒体数据，从而，可以避免第三处理节点的输入管理器中的多媒体数据被处理完之后，或正在运行的处理任务被执行完之后，得到的多媒体数据没有输入管理器可输入，而导致处理完的数据被丢弃。进而避免多媒体数据在播放过程中缺失部分片段，有助于提高多媒体数据的播放平滑性。
下面详细说明向处理系统中添加第四处理节点的过程。
在本公开实施例中，添加第四处理节点的过程可以包括：首先，确定待添加的第四处理节点、第四处理节点的第二相邻节点，第二相邻节点包括第二上游节点和/或第二下游节点，第二上游节点和第二下游节点是处理系统中已有的处理节点；然后，建立第二上游节点的输出管理器和第四处理节点的输入管理器之间的关联关系，和/或，建立第四处理节点的输出管理器和第二下游节点的输入管理器之间的关联关系。
其中，第四处理节点是待添加的具有任意功能的处理节点，第四处理节点被添加到现有的处理系统中的第二上游节点和第二下游节点之间。第二上游节点和第二下游节点可以是相邻的两个处理节点，也可以是不相邻的两个处理节点。
基于图4所示的处理系统，图8是本公开实施例提供的一种添加第四处理节点之后的处理系统结构示意图。参照图8所示，ND4是第四处理节点，其第二上游节点为ND1，其第二下游节点为ND2。从而在添加ND4时，先建立第二上游节点ND1的输出管理器OM1和第四处理节点ND4的输入管理器IM4之间的关联关系，再建立第四处理节点ND4的输出管理器OM4和第二下游节点ND2的输入管理器IM2之间的关联关系。如此，实现了将第四处理节点ND4添加到图4所示的处理系统中ND1和ND2之间的目的，得到如图8所示的处理系统。
当然，在实际应用中，第四处理节点可以不存在第二上游节点或第二下游节点。
当第四处理节点被添加到图4所示的第一个处理节点ND1之前时，第四处理节点不存在第二上游节点，存在第二下游节点ND1。添加之后，第四处理节点是处理系统的新的第一个处理节点。
当第四处理节点被添加到图4所示的最后一个处理节点ND3之后时，第四处理节点不存 在第二下游节点，存在第二上游节点ND3。添加之后，第四处理节点是处理系统的新的最后一个处理节点。
可以看出，在添加第四处理节点时，处理系统中已有的各处理节点都不需要停止运行，也就是其处理任务均可以继续执行。
对应于上文实施例的多媒体数据的处理方法，图9是本公开实施例提供的一种多媒体数据的处理装置的结构框图，应用于前述多媒体数据的处理系统中。为了便于说明，仅示出了与本公开实施例相关的部分。参照图9，上述多媒体数据的处理装置200包括：第一处理任务生成模块201、第一处理任务执行模块202和第二数据写入模块203。
其中，第一处理任务生成模块201，用于在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据。
第一处理任务执行模块202，用于调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据。
第二数据写入模块203，用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
可选地，所述装置还包括：
第三节点确定模块，用于确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点，所述第一相邻节点包括：第一上游节点和/或第一下游节点。
关系删除模块，用于删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，和/或，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地，所述装置还包括：
标记模块，用于在删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前，在所述第一上游节点的输出管理器中设置第一标记，所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
可选地，所述关系删除模块，还用于：
在不存在目标处理任务时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，所述目标处理任务是所述第一上游节点正在执行的处理任务，所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
可选地，关系删除模块，还用于：
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
可选地，关系删除模块，还用于：
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时，生成第二处理任务，所述第二处理任务中包括所述第四多媒体数据；删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
可选地，关系删除模块，还用于：
在所述第三处理节点的输入管理器中不存在多媒体数据，和/或不存在所述第三处理节点正在运行的处理任务时，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地，当所述第三处理节点具有所述第一上游节点和所述第一下游节点时，还包括：
关系修复模块，用于在删除两种所述关联关系之后，若所述第一上游节点没有下游节点，和/或，所述第一下游节点没有上游节点，则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
可选地，所述装置还包括：
第四节点确定模块，用于确定待添加的第四处理节点、所述第四处理节点的第二相邻节点，所述第二相邻节点包括第二上游节点和/或第二下游节点，所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点。
关系建立模块，用于建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系，和/或，建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
可选地，每个所述处理节点的处理任务中包括以下至少一种信息：所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
本实施例提供的多媒体数据的处理装置，可用于执行上述图5所示的方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图10是本公开实施例提供的一种电子设备600的结构框图。该电子设备600包括存储器602和至少一个处理器601；
其中，存储器602存储计算机执行指令；
至少一个处理器601执行存储器602存储的计算机执行指令，使得电子设备601实现前述图5中的方法。
此外，该电子设备还可以包括接收器603和发送器604，接收器603用于接收从其余装置或设备的信息，并转发给处理器601，发送器604用于将信息发送到其余装置或设备。
进一步地，参考图11，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等的移动终端以及诸如数字TV、台式计算机等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid Crystal Display，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(Radio Frequency，RF)等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连 接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(Field Programmable Gate Array,FPGA)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用标准产品(Application Specific Standard Product,ASSP)、片上系统(System ON Chip,SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device,CPLD)等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
在第一方面的第一种示例中，本公开实施例提供了一种多媒体数据的处理方法，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述方法包括：
在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据；
调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据；
将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
基于第一方面的第一种示例，在第一方面的第二种示例中，所述方法还包括：确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点，所述第一相邻节点包括：第一上游节点和/或第一下游节点；删除所述第三处理节点的输入管理器和所述第一上 游节点的输出管理器之间的关联关系，和/或，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第二种示例，在第一方面的第三种示例中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前，还包括：
在所述第一上游节点的输出管理器中设置第一标记，所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
基于第一方面的第二种示例，在第一方面的第四种示例中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
在不存在目标处理任务时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，所述目标处理任务是所述第一上游节点正在执行的处理任务，所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
基于第一方面的第二种示例，在第一方面的第五种示例中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第一方面的第二种示例，在第一方面的第六种示例中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时，生成第二处理任务，所述第二处理任务中包括所述第四多媒体数据；删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第一方面的第二至第六任一种示例，在第一方面的第七种示例中，所述删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系，包括：
在所述第三处理节点的输入管理器中不存在多媒体数据，和/或不存在所述第三处理节点正在运行的处理任务时，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第二至第六任一种示例，在第一方面的第八种示例中，当所述第三处理节点具有所述第一上游节点和所述第一下游节点时，还包括：
在删除两种所述关联关系之后，若所述第一上游节点没有下游节点，和/或，所述第一下游节点没有上游节点，则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第一方面的第一至第六任一种示例，在第一方面的第九种示例中，还包括：
确定待添加的第四处理节点、所述第四处理节点的第二相邻节点，所述第二相邻节点包括第二上游节点和/或第二下游节点，所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点；建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系，和/或，建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
基于第一方面的第一至第六任一种示例，在第一方面的第十种示例中，每个所述处理节点的处理任务中包括以下至少一种信息：所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理 任务的生成时间。
在第二方面的第一种示例中，提供了一种多媒体数据的处理装置，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述装置包括：
第一处理任务生成模块，用于在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据。
第一处理任务执行模块，用于调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据。
第二数据写入模块，用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
基于第二方面的第一种示例，在第二方面的第二种示例中，所述装置还包括：
第三节点确定模块，用于确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点，所述第一相邻节点包括：第一上游节点和/或第一下游节点。
关系删除模块，用于删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，和/或，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第二种示例，在第二方面的第三种示例中，所述装置还包括：
标记模块，用于在删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前，在所述第一上游节点的输出管理器中设置第一标记，所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
基于第二方面的第二种示例，在第二方面的第四种示例中，所述关系删除模块，还用于：
在不存在目标处理任务时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，所述目标处理任务是所述第一上游节点正在执行的处理任务，所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
基于第二方面的第二种示例，在第二方面的第五种示例中，关系删除模块，还用于：
在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第二方面的第二种示例，在第二方面的第六种示例中，关系删除模块，还用于：
在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时，生成第二处理任务，所述第二处理任务中包括所述第四多媒体数据；删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
基于第二方面的第二至第六任一种示例，在第二方面的第七种示例中，关系删除模块，还用于：
在所述第三处理节点的输入管理器中不存在多媒体数据，和/或不存在所述第三处理节点 正在运行的处理任务时，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第二至第六任一种示例，在第二方面的第八种示例中，当所述第三处理节点具有所述第一上游节点和所述第一下游节点时，还包括：
关系修复模块，用于在删除两种所述关联关系之后，若所述第一上游节点没有下游节点，和/或，所述第一下游节点没有上游节点，则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
基于第二方面的第一至第六任一种示例，在第二方面的第九种示例中，所述装置还包括：
第四节点确定模块，用于确定待添加的第四处理节点、所述第四处理节点的第二相邻节点，所述第二相邻节点包括第二上游节点和/或第二下游节点，所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点。
关系建立模块，用于建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系，和/或，建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
基于第二方面的第一至第六任一种示例，在第二方面的第十种示例中，每个所述处理节点的处理任务中包括以下至少一种信息：所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备实现第一方面任一项所述的方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，使计算设备实现第一方面任一项所述的方法。
第五方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序用于实现第一方面任一项所述的方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机程序，所述计算机程序用于实现第一方面任一项所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相 反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

  1. 一种多媒体数据的处理方法，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述方法包括：
    在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据；
    调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据；
    将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
  2. 根据权利要求1所述的方法，其中，所述方法还包括：
    确定所述处理系统中待删除的第三处理节点、所述第三处理节点的第一相邻节点，所述第一相邻节点包括：第一上游节点和/或第一下游节点；
    删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系；和/或，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
  3. 根据权利要求2所述的方法，其中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系之前，还包括：
    在所述第一上游节点的输出管理器中设置第一标记，所述第一标记用于指示所述第一上游节点的处理任务停止对所述第三处理节点的输入管理器生成多媒体数据。
  4. 根据权利要求2所述的方法，其中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
    在不存在目标处理任务时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，所述目标处理任务是所述第一上游节点正在执行的处理任务，所述目标处理任务用于为所述第三处理节点的输入管理器生成多媒体数据。
  5. 根据权利要求2或4所述的方法，其中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
    在检测到所述第三处理节点的输入管理器中不存在第四多媒体数据时，删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系。
  6. 根据权利要求2或4或5所述的方法，其中，所述删除所述第三处理节点的输入管理器和所述第一上游节点的输出管理器之间的关联关系，包括：
    在检测到所述第三处理节点的输入管理器中存在第四多媒体数据时，生成第二处理任务，所述第二处理任务中包括所述第四多媒体数据；
    删除所述第三处理节点的输入管理器与所述第一上游节点的输出管理器之间的关联关系。
  7. 根据权利要求2至6任一项所述的方法，其中，所述删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系，包括：
    在所述第三处理节点的输入管理器中不存在多媒体数据，和/或不存在所述第三处理节点 正在运行的处理任务时，删除所述第三处理节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
  8. 根据权利要求2至7任一项所述的方法，其中，当所述第三处理节点具有所述第一上游节点和所述第一下游节点时，还包括：
    在删除两种所述关联关系之后，若所述第一上游节点没有下游节点，和/或，所述第一下游节点没有上游节点，则建立所述第一上游节点的输出管理器和所述第一下游节点的输入管理器之间的关联关系。
  9. 根据权利要求1至8任一项所述的方法，还包括：
    确定待添加的第四处理节点、所述第四处理节点的第二相邻节点，所述第二相邻节点包括第二上游节点和/或第二下游节点，所述第二上游节点和所述第二下游节点是所述处理系统中已有的处理节点；
    建立所述第二上游节点的输出管理器和所述第四处理节点的输入管理器之间的关联关系；和/或，建立所述第四处理节点的输出管理器和所述第二下游节点的输入管理器之间的关联关系。
  10. 根据权利要求1至9任一项所述的方法，其中，每个所述处理节点的处理任务中包括以下至少一种信息：所述处理节点的标识信息、输入到所述处理节点的输入管理器中的多媒体数据、输出到所述处理节点的输出管理器中的多媒体数据、所述处理任务的生成时间。
  11. 一种多媒体数据的处理装置，应用于所述多媒体数据的处理系统中，所述处理系统包括顺序排列的至少两个处理节点，每个所述处理节点对应有输入管理器和输出管理器，相邻两个所述处理节点分别为上游节点和下游节点，所述上游节点的输出管理器和所述下游节点的输入管理器具有关联关系，所述上游节点为所述下游节点生成多媒体数据，所述装置包括：
    第一处理任务生成模块，用于在第一处理节点的第一输入管理器中存在第一多媒体数据时，生成第一处理任务，所述第一处理任务中包括所述第一多媒体数据；
    第一处理任务执行模块，用于调用所述第一处理节点执行所述第一处理任务，得到第二多媒体数据，所述第二多媒体数据是对所述第一处理任务中的所述第一多媒体数据处理得到的数据；
    第二数据写入模块，用于将所述第二多媒体数据写入到至少一个第二处理节点的第二输入管理器中，所述第二输入管理器是与所述第一处理节点的第一输出管理器关联的输入管理器。
  12. 一种电子设备，包括：至少一个处理器和存储器；
    所述存储器存储计算机执行指令；
    所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备实现如权利要求1至10任一项所述的方法。
  13. 一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，使计算设备实现如权利要求1至10任一项所述的方法。
  14. 一种计算机程序产品，包括：计算机程序，其中，所述计算机程序用于实现如权利要求1至10任一项所述的方法。
  15. 一种计算机程序，其中，所述计算机程序用于实现如权利要求1至10任一项所述的方法。
PCT/CN2022/118790 2021-10-12 2022-09-14 多媒体数据的处理方法、系统及设备 WO2023061137A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111188642.5 2021-10-12
CN202111188642.5A CN113918298B (zh) 2021-10-12 2021-10-12 多媒体数据的处理方法、系统及设备

Publications (1)

Publication Number Publication Date
WO2023061137A1 true WO2023061137A1 (zh) 2023-04-20

Family

ID=79239559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/118790 WO2023061137A1 (zh) 2021-10-12 2022-09-14 多媒体数据的处理方法、系统及设备

Country Status (2)

Country Link
CN (1) CN113918298B (zh)
WO (1) WO2023061137A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918298B (zh) * 2021-10-12 2024-05-14 北京字节跳动网络技术有限公司 多媒体数据的处理方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140146194A1 (en) * 2012-11-23 2014-05-29 Mediatek Inc. Data processing system for transmitting compressed multimedia data over camera interface
CN106559573A (zh) * 2016-11-11 2017-04-05 努比亚技术有限公司 移动终端及多媒体数据处理方法
CN109783550A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 数据处理方法、装置、系统、计算机可读存储介质
CN111309228A (zh) * 2020-02-12 2020-06-19 北京字节跳动网络技术有限公司 多媒体处理方法、装置及电子设备
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新（北京）科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN113918298A (zh) * 2021-10-12 2022-01-11 北京字节跳动网络技术有限公司 多媒体数据的处理方法、系统及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8205006B2 (en) * 2009-09-30 2012-06-19 Lenovo (Singapore) Pte. Ltd. Systems and methods for discontinuous multi-media content transfer and handling
CN107291533B (zh) * 2016-03-31 2020-10-30 阿里巴巴集团控股有限公司 确定上游节点瓶颈度及系统瓶颈度的方法、装置
CN110489261A (zh) * 2019-07-31 2019-11-22 上海艾融软件股份有限公司 任务处理告警方法、装置及电子设备、存储介质
US20210234911A1 (en) * 2020-01-27 2021-07-29 International Business Machines Corporation Modifying multimedia based on user context
CN111400008B (zh) * 2020-03-13 2023-06-02 北京旷视科技有限公司 计算资源调度方法、装置及电子设备
CN112685154A (zh) * 2020-12-25 2021-04-20 北京有竹居网络技术有限公司 任务流引擎的数据处理方法、任务流引擎、设备和介质
CN113434323A (zh) * 2021-06-28 2021-09-24 浙江大华技术股份有限公司 数据中台的任务流控制方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140146194A1 (en) * 2012-11-23 2014-05-29 Mediatek Inc. Data processing system for transmitting compressed multimedia data over camera interface
CN106559573A (zh) * 2016-11-11 2017-04-05 努比亚技术有限公司 移动终端及多媒体数据处理方法
CN109783550A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 数据处理方法、装置、系统、计算机可读存储介质
CN111309228A (zh) * 2020-02-12 2020-06-19 北京字节跳动网络技术有限公司 多媒体处理方法、装置及电子设备
CN111475564A (zh) * 2020-04-13 2020-07-31 恒安嘉新（北京）科技股份公司 一种流式数据处理方法、系统、计算机设备及存储介质
CN113918298A (zh) * 2021-10-12 2022-01-11 北京字节跳动网络技术有限公司 多媒体数据的处理方法、系统及设备

Also Published As

Publication number Publication date
CN113918298B (zh) 2024-05-14
CN113918298A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN109582310B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
WO2023273725A1 (zh) 文件下载方法、装置、存储介质及电子设备
WO2020248745A1 (zh) 用户界面中字符的显示方法、装置、电子设备及存储介质
WO2021082649A1 (zh) 榜单更新方法、装置、可读介质和电子设备
WO2022237744A1 (zh) 视频的展示方法、装置、设备及介质
WO2023061137A1 (zh) 多媒体数据的处理方法、系统及设备
WO2024139852A1 (zh) 媒体播放方法及设备
WO2023109434A1 (zh) 虚拟资源转移方法、装置、设备、可读存储介质及产品
WO2024109706A1 (zh) 媒体内容显示方法、装置、设备、可读存储介质及产品
US20240256204A1 (en) Method, apparatus, device, readable storage medium and product for media file processing
WO2022242482A1 (zh) 播放控制方法、设备、存储介质及程序产品
WO2020238241A1 (zh) 媒体对象的播放方法、装置、电子设备及存储介质
WO2022148231A1 (zh) 应用程序启动控制方法、装置、电子设备和存储介质
WO2021147466A1 (zh) 消息处理方法、装置及电子设备
CN110401590A (zh) 消息处理方法、装置及电子设备
WO2023072070A1 (zh) 显示控制方法、装置和电子设备
WO2020192246A1 (zh) 终端界面的显示控制方法、装置、存储介质及电子设备
CN111382058B (zh) 一种服务的测试方法、装置，服务器及存储介质
WO2020173381A1 (zh) 数据互通方法、装置、终端及存储介质
CN111460211A (zh) 音频信息播放方法、装置和电子设备
WO2023011526A1 (zh) 实现群组管理的方法、装置、电子设备和存储介质
WO2020224295A1 (zh) 用于管理信息的方法、装置和系统
CN111382057B (zh) 测试用例生成方法，测试方法及装置，服务器及存储介质
CN110704782A (zh) 页面响应方法、装置、电子设备及存储介质
WO2024140069A1 (zh) 视频处理方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880079

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 180724)