WO2025201150A1 - 生成媒体内容的方法、装置、设备和存储介质 - Google Patents

生成媒体内容的方法、装置、设备和存储介质

Info

Publication number
WO2025201150A1
WO2025201150A1 PCT/CN2025/083571 CN2025083571W WO2025201150A1 WO 2025201150 A1 WO2025201150 A1 WO 2025201150A1 CN 2025083571 W CN2025083571 W CN 2025083571W WO 2025201150 A1 WO2025201150 A1 WO 2025201150A1
Authority
WO
WIPO (PCT)
Prior art keywords
media
text
target
content
segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2025/083571
Other languages
English (en)
French (fr)
Inventor
王佳昕
雷桢
黄郁慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Publication of WO2025201150A1 publication Critical patent/WO2025201150A1/zh
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Definitions

  • Example embodiments of the present disclosure generally relate to the field of computers, and more particularly, to providing methods, devices, apparatuses, and computer-readable storage media for generating media content.
  • a method for generating media content includes: receiving a selection of a target template, the target template being associated with a reference text; generating a target text about a target object based on the reference text, the target text having style information and/or content structure matching the reference text; and generating a media editing result based on the target text, the media editing result including a set of media segments determined from at least one media material associated with the target object based on the target text.
  • a device for generating media content includes: a first receiving module configured to receive a selection of a target template, the target template being associated with a reference text; a first generating module configured to generate a target text about a target object based on the reference text, the target text having style information and/or content structure matching the reference text; and a second generating module configured to generate a media editing result based on the target text, the media editing result including a set of media segments determined based on the target text from at least one media material associated with the target object.
  • an electronic device in a third aspect of the present disclosure, includes at least one processing unit; and at least one memory coupled to the at least one processing unit and storing instructions for execution by the at least one processing unit. When executed by the at least one processing unit, the instructions cause the device to perform the method of the first aspect.
  • FIG7 shows a schematic structural block diagram of an apparatus for generating media content according to certain embodiments of the present disclosure
  • electronic device 110 may present a playback interface for the media file corresponding to template 210 or template 220, and may provide a usage portal corresponding to template 210 or template 220. In other embodiments, after receiving the selection of template 210 or template 220, electronic device 110 may also directly present an interface for creating media content based on template 210 or template 220.
  • the electronic device 110 and/or the server 130 may divide the target text into multiple text parts, and sequentially determine a media segment matching each text part.
  • electronic device 110 and/or server 130 may determine the media segments that match each text portion based on the semantic similarity between each text portion and each candidate text segment.
  • a video segment may include all or part of the content in the candidate media segment.
  • the electronic device 110 and/or the server 130 may also consider the image quality of each candidate media segment. Specifically, the electronic device 110 and/or the server 130 may comprehensively screen the set of media segments based on semantic similarity and image quality, so that the image quality of the resulting set of media segments exceeds a threshold.
  • the electronic device 110 may combine the set of media segments based on the order of the multiple text segments in the target text. For example, the electronic device 110 may combine the corresponding multiple media segments based on the order of the multiple text segments to obtain a media editing result.
  • such media editing results may include directly generated media content, such as video content.
  • such media editing results may also include, for example, media draft files.
  • the media editing result may include a plurality of media segments determined from the selected media material based on the target text, for example, a media segment 410 , a media segment 420 , and a media segment 430 .
  • the electronic device 110 may also add other materials based on the multiple media segments to generate a media editing result.
  • the electronic device 110 may, for example, add subtitle content or short title content corresponding to corresponding text portions of the target text on the screens of the plurality of media segments 410 to 430 .
  • the electronic device 110 may further overlay audio content corresponding to the target text on the basis of the plurality of media segments 410 to 430.
  • audio content may include spoken content corresponding to the target text.
  • such audio content can be generated based on the audio attributes configured by the user. For example, the user can select a specific sound effect (e.g., timbre), and further, the electronic device 110 can generate the audio content based on the selected sound effect.
  • a specific sound effect e.g., timbre
  • such audio content can also be generated based on the audio properties (e.g., timbre) of audio content associated with the selected target (also referred to as second audio content).
  • the electronic device 110 can generate the first audio content corresponding to the target text based on timbre cloning of the second audio content.
  • the electronic device 110 can generate the first audio content using the same sound effects as the second audio content.
  • the electronic device 110 may further enable the user to edit the generated first audio content, for example, to modify a specified audio attribute of the first audio content.
  • the electronic device 110 may edit the first audio content based on another sound effect selected by the user, thereby modifying the timbre of the first audio content.
  • the electronic device 110 may also overlay background music on the basis of the plurality of media segments 410 to 430.
  • background music may include background music specified by the user, background music recommended based on the target text, or background music used by the target template.
  • the electronic device 110 may also receive a user's editing operation on the target text, for example, to modify the first text into the second text. Further, the electronic device 110 may, based on the process discussed above and based on the modified second text, re-determine a group of media content that matches the second text from at least one media material. Further, the electronic device 110 may update the media editing result based on the group of media content.
  • the process of re-determining the group of media content based on the second text can be referred to the description above and will not be repeated here.
  • the electronic device 110 may further support the user in performing various appropriate types of editing on the media draft in the interface 400A, and generate corresponding media content based on the edited media draft.
  • interfaces 400A and 400B may also display a control 435 for adding media materials, allowing the user to add other media materials besides Media Materials 1, 2, and 3, and thereby generate new media content based on these media materials.
  • the user can click on control 435 for adding media materials, and the electronic device will then display interface 400C.
  • This interface 400C will display all available media materials.
  • the electronic device will add corresponding identification information to display interface 400C to indicate that they have been added as media materials. Specifically, Media Materials 1, 2, and 3 will be identified as added media materials.
  • the electronic device will display corresponding add controls in display interface 400C. Unadded media materials are media materials besides Media Materials 1, 2, and 3.
  • the interface 400C may display a selection control 440 corresponding to media material 4, a selection control 450 corresponding to media material 5, a selection control 351 corresponding to media material 8, and the like.
  • the electronic device may display interface 400D.
  • Interface 400D may highlight the selection of media material 8. For example, in FIG4D , a check mark may appear in the circle corresponding to media material 8 to indicate its selection.
  • the electronic device may also display the selected media material 8 at the display position 481 of the added media material in interface 400D.
  • Other prominent display methods may also be used to indicate the selection of a media material, such as using different display colors to distinguish selected and unselected media materials.
  • the electronic device may display interface 400E.
  • Interface 400E may display a target prompt, prompting the user to confirm whether to generate new media content based on the newly added media material.
  • Interface 400E may also display a confirmation control 482.
  • the user may click control 482 to confirm the generation of new media content based on the newly added media material 8.
  • the electronic device may display an interface 400F, which may display prompt information about the new media content being generated.
  • At least one editing operation in the editing page may also be a first operation for a first segment in a group of media segments, the first operation indicating a selection of a first media material to replace the first segment with a second segment in the first media material, or/and a second operation for a third segment in a group of media segments, the second operation indicating a selection of a fourth segment in a target media material corresponding to the third segment to replace the third segment with the fourth segment.
  • interface 400G may present a replace control 491 and a crop control 492.
  • Replace control 491 is used to allow the user to replace media material 2 with another media material.
  • Crop control 492 is used to allow the user to convert sub-media material 420 in media material 2 into another sub-media material in media material 2.
  • the electronic device can display an interface 400H.
  • This interface 400H can display all media materials, and for previously selected media materials, the electronic device can add a corresponding identifier in the display interface 400H to indicate that this media material has been added. For example, the preset position of media material 1, media material 2, and media material 3 can display an "Added" field. For media materials that were not previously selected, the electronic device can display their corresponding selection controls in the display interface. As shown in Figure 4H, there is an import control 440 corresponding to media material 4, an import control 450 corresponding to media material 5, an import control 351 corresponding to media material 8, and an import control 352 corresponding to media material 10.
  • Interface 400I may highlight the selection of the media material 10. For example, in FIG4I , a check mark may be displayed in the circle corresponding to the media material 10 in interface 400I to indicate that it has been selected.
  • the electronic device may display interface 400J.
  • Interface 400J may display a prompt indicating that new media content is being synthesized based on media material 1, media material 10, and media material 3.
  • the electronic device may display interface 400K.
  • This interface 400K may display new media content 490 generated based on media material 1, media material 10, and media material 3.
  • Interface 400K may also display sub-media materials corresponding to media material 1, media material 10, and media material 3, and the sub-media material corresponding to the media material being played may be highlighted on the interface.
  • the electronic device may highlight the sub-media content being played on the playback interface in a preset color.
  • the electronic device may highlight the sub-media content being played at a preset position on the playback interface, where the preset position may be the center of the playback interface.
  • the electronic device can display interface 500.
  • Interface 500 can display all the sub-candidate materials 510 contained in this media material, such as all the images contained in a video.
  • Interface 500 can also display a selection box 520 of the selected sub-media material in this media material. The user can slide the selection box 520 to crop the sub-media material, wherein the sub-media material located in the selection box 520 is the sub-media material that needs to be displayed in the synthesized media content.
  • the second to fifteenth frames of images in media material 2 displayed in the original media content can be replaced by the fourth to seventeenth frames of images in media material 2 by sliding the selection box 520.
  • the length corresponding to the second to fifteenth frames of images can be the same as the length corresponding to the fourth to seventeenth frames of images.
  • the electronic device can also publish the media work corresponding to the media editing results based on a preset operation on the media editing results.
  • the interface 500 may include a corresponding export control to support the publication of the media work. The user can publish the media work by clicking the corresponding export control.
  • the electronic device 110 receives a selection of a target template, the target template being associated with a reference text.
  • a set of media segments corresponds to a set of text portions of a reference text
  • generating a media editing result based on the target text includes: combining a set of media segments based on an order of the set of text portions in the reference text to generate the media editing result.
  • the configuration information includes parameter information about the media content to be generated.
  • generating target text about the target object based on the reference text includes: receiving a selection of at least one media material associated with the target object; and generating the target text based on the reference text and the at least one media material.
  • the media editing result includes subtitle content corresponding to the target text and/or first audio content corresponding to the target text.
  • the media editing result includes a media draft
  • process 600 further includes: presenting the media draft in an editing interface; and updating the media draft based on at least one editing operation in the editing interface.
  • At least one editing operation includes: a first operation on a first segment in a group of media segments, the first operation indicating a selection of a first media material to replace the first segment with a second segment in the first media material; or a second operation on a third segment in a group of media segments, the second operation indicating a selection of a fourth segment in a target media material corresponding to the third segment to replace the third segment with the fourth segment.
  • process 600 further includes: based on a preset operation on the media editing result, publishing the media work corresponding to the media editing result.
  • FIG7 shows a schematic structural block diagram of an apparatus 700 for providing media content according to certain embodiments of the present disclosure.
  • Apparatus 700 may be implemented as or included in electronic device 110 as discussed above.
  • the various modules/components in apparatus 700 may be implemented by hardware, software, firmware, or any combination thereof.
  • the device 700 includes a first receiving module 710, configured to receive a selection of a target template, the target template being associated with a reference text; a first generating module 720, configured to generate a target text about a target object based on the reference text, the target text having style information and/or content structure matching the reference text; and a second generating module 730, configured to generate a media editing result based on the target text, the media editing result including a set of media segments determined from at least one media material associated with the target object based on the target text.
  • a group of media segments is determined based on the following process: determining a plurality of candidate media segments based on storyboarding of at least one media material; and determining a group of media segments from the plurality of candidate media segments based on a degree of matching between the plurality of candidate media segments and a reference text.
  • determining a group of media segments from the plurality of candidate media segments based on the matching levels of the plurality of candidate media segments with the reference text includes:
  • the configuration information includes parameter information about the media content to be generated.
  • the first generating module is specifically configured to generate guidance information to the target model based on the reference text and at least one media material; and provide the guidance information to the target model to obtain the target text generated by the target model based on the reference text.
  • the target template includes reference media content
  • the receiving module 710 is specifically configured to display a viewing interface of the reference media content; and receive a selection of a creation entry in the viewing interface.
  • a group of media segments is a first group of media segments
  • the target text is a first text
  • the device 700 further includes a second receiving module configured to: receive an editing operation on the first text; a determination module configured to: determine a second group of media segments from at least one media material based on the edited second text; and a first updating module configured to: update the media editing results based on the second group of media segments.
  • the media editing result includes subtitle content corresponding to the target text and/or first audio content corresponding to the target text.
  • the apparatus 700 further includes a modification module configured to modify the target audio attribute of the first audio content based on the editing operation on the first audio content.
  • the media editing result includes a media draft
  • the device 700 also includes a presentation module configured to: present the media draft in the editing interface; and a second update module configured to: update the media draft based on at least one editing operation in the editing interface.
  • the units included in the device 700 can be implemented in various ways, including software, hardware, firmware, or any combination thereof.
  • one or more units can be implemented using software and/or firmware, such as machine executable instructions stored on a storage medium.
  • some or all of the units in the device 700 can be implemented at least in part by one or more hardware logic components.
  • exemplary types of hardware logic components include field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSPs), systems on chip (SOCs), complex programmable logic devices (CPLDs), and the like.
  • FIG8 shows a block diagram of an electronic device 800 in which one or more embodiments of the present disclosure may be implemented. It should be understood that the electronic device 800 shown in FIG8 is merely exemplary and should not be construed as limiting the functionality and scope of the embodiments described herein. The electronic device 800 shown in FIG8 can be used to implement the electronic device 110 shown in FIG1 .
  • the storage device 830 can be a removable or non-removable medium and can include a machine-readable medium, such as a flash drive, a disk, or any other medium that can be used to store information and/or data (e.g., training data for training) and can be accessed within the electronic device 800.
  • a machine-readable medium such as a flash drive, a disk, or any other medium that can be used to store information and/or data (e.g., training data for training) and can be accessed within the electronic device 800.
  • the electronic device 800 may further include additional removable/non-removable, volatile/non-volatile storage media.
  • a disk drive for reading from or writing to a removable, non-volatile disk (e.g., a “floppy disk”) and an optical drive for reading from or writing to a removable, non-volatile optical disk may be provided.
  • each drive may be connected to a bus (not shown) by one or more data media interfaces.
  • the memory 820 may include a computer program product 825 having one or more program modules configured to perform various methods or actions of various embodiments of the present disclosure.
  • the communication unit 840 enables communication with other electronic devices via a communication medium. Additionally, the functions of the components of the electronic device 800 can be implemented in a single computing cluster or multiple computing machines that can communicate via a communication connection. Thus, the electronic device 800 can operate in a networked environment using a logical connection with one or more other servers, a network personal computer (PC), or another network node.
  • PC network personal computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

根据本公开的实施例，提供了生成媒体内容的方法、装置、设备和存储介质。该方法包括：接收对目标模板的选择，目标模板与参考文本相关联；基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构；以及基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。本公开的实施例能够参考模板的文本内容来对素材进行自动处理，并生成媒体编辑结果。由此，本公开的实施例能够提高所生成的媒体内容的质量。

Description

生成媒体内容的方法、装置、设备和存储介质
本申请要求2024年03月28日递交的、标题为“生成媒体内容的方法、装置、设备和存储介质”、申请号为202410370680.X的中国发明专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开的示例实施例总体涉及计算机领域，特别地涉及提供生成媒体内容的方法、装置、设备和计算机可读存储介质。
背景技术
伴随着智能化的快速发展，各种形式的电子设备能够极大地丰富人们的日常生活。电子设备可以基于一些媒体素材，生成符合用户需要的媒体内容。例如，用户可以基于一些电子设备上传一些视频来自动合成新的视频，这个新的视频中包括这一些视频中一些视频片段。
发明内容
在本公开的第一方面，提供了一种生成媒体内容的方法。该方法包括：接收对目标模板的选择，目标模板与参考文本相关联；基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构；以及基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
在本公开的第二方面，提供了一种用于生成媒体内容的装置。该装置包括：第一接收模块，被配置为接收对目标模板的选择，目标模板与参考文本相关联；第一生成模块，被配置为基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构；以及第二生成模块，被配置为基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以实现第一方面的方法。
在本公开的第五方面，提供了一种计算机程序产品。该计算机程序产品包括计算机可执行指令，计算机可执行指令在被处理器执行时实现第一方面的方法。
应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的示例界面的示意图；
图3A至图3D示出了根据本公开的一些实施例的示例界面的示意图；
图4A至图4K示出了根据本公开的一些实施例的示例界面的示意图；
图5示出了根据本公开的一些实施例的示例界面的示意图；
图6示出了根据本公开的一些实施例的生成媒体内容的过程的流程图；
图7示出了根据本公开的某些实施例的用于生成媒体内容的装置的示意性结构框图；
图8示出了能够实施本公开的多个实施例的电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
需要注意的是，本文中所提供的任何节/子节的标题并不是限制性的。本文通篇描述了各种实施例，并且任何类型的实施例都可以包括在任何节/子节下。此外，在任一节/子节中描述的实施例可以以任何方式与同一节/子节和/或不同节/子节中描述的任何其他实施例相结合。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。术语“第一”、“第二”等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
本公开的实施例中可能涉及用户的数据、数据的获取和/或使用等。这些方面均遵循相应的法律法规及相关规定。在本公开的实施例中，所有数据的采集、获取、处理、加工、转发、使用等，都是在用户知晓并且确认的前提下进行的。相应地，在实现本公开的各实施例时，均应根据相关法律法规通过适当的方式，将可能所涉及的数据或信息的类型、使用范围、使用场景等告知用户并获得用户的授权。具体的告知和/或授权方式可以根据实际情况和应用场景而变化，本公开的范围在此方面不受限制。
本说明书及实施例中方案，如涉及个人信息处理，则均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。
本公开的实施例提出了一种生成媒体内容的方案。根据该方案，可以接收对目标模板的选择，目标模板与参考文本相关联。进一步地，可以基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构。相应地，可以基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
基于这样的方式，本公开的实施例能够参考模板的文本内容来对素材进行自动处理，并生成媒体编辑编辑结果。由此，本公开的实施例能够提高所生成的媒体内容的质量。
示例环境
图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100可以包括电子设备110。
在该示例环境100中，电子设备110可以运行有支持界面交互的应用120。应用120可以是用于界面交互的任何适当类型应用，其示例可以包括但不限于：媒体编辑应用、视频应用等，用户140可以基于应用120来对目标模版进行选择。电子设备可以基于这个目标模版生成与这个目标模版相关联的媒体内容。目标模版可以为图像、视频或者语音等任意适当类型的媒体内容，生成的与这个目标模版相关联的媒体内容也可以为图像、视频或者语音等任何适当类型的媒体内容。
用户140可以经由电子设备110和/或其附接设备来与应用120进行交互。
在图1的环境100中，如果应用120处于活动状态，电子设备110可以通过应用120呈现用于支持界面交互的界面150。
在一些实施例中，电子设备110与服务器130通信，以实现对应用120的服务的供应。电子设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、掌上电脑、便携式游戏终端、VR/AR设备、个人通信系统(Personal Communication System，PCS)设备、个人导航设备、个人数字助理(Personal Digital Assistant，PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，电子设备110也能够支持任意类型的针对目标用户的接口(诸如“可佩戴”电路等)。
服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器130例如可以包括计算系统/服务器，诸如大型机、边缘计算节点、云环境中的计算设备，等等。服务器130可以为电子设备110中支持界面交互的应用120提供后台服务。
服务器130与电子设备110之间可以建立有通信连接。通信连接可以通过有线方式或无线方式建立。通信连接可以包括但不限于蓝牙连接、移动网络连接、通用串行总线(Universal Serial Bus，USB)连接、无线保真(Wireless Fidelity，WiFi)连接等，本公开的实施例在此方面不受限制。在本公开的实施例中，服务器130与电子设备110可以通过二者之间的通信连接实现信令交互。
应当理解，仅出于示例性的目的描述环境100中各个元素的结构和功能，而不暗示对于本公开的范围的任何限制。
以下将继续参考附图描述本公开的一些示例实施例。
示例交互
以下将参考图2至图5来描述根据本公开的实施例的示例交互过程。图2至图5示出了根据本公开的一些实施例的示例界面200至界面500，界面200至界面500例如可以由图1所示的电子设备110所提供。
以下具体实施例将以目标模版以及基于目标模版生成的媒体内容为与视频的示例来描述本公开的示例过程。需要说明的是目标模版以及基于目标模版生成的媒体内容还可以为图像、或者语音等任何适当类型的媒体内容，在此不做赘述。
如图2所示，电子设备110例如可以呈现界面200，该界面200可以显示至少一个模版，比如模版210以及模版220。在一些实施例中，模板210和模板220可以包括由平台发布的媒体内容，或者由其他用户创作并发布的媒体内容。
在一些实施例中，模版可以与参考文本(也称为参考文案)相关联。参考文本例如可以包括该媒体内容中所使用的字幕对应的文本，或者视频内容中的口播内容所对应的文本。
在一些实施例中，电子设备110还可以提供其他类型的模板，这样的模板可以与对应的参考文本相关，并且这样的模板例如可以不关联于特定的作品。例如，电子设备110可以为用户提供与一组可供选择的模板对应的选择入口，以接收用户对于特定模板的选择。
如图2所示，界面200中还可以显示有多个模板类型对应的选择控件。如图2所示的服装搭配类模板对应的选择控件230、食品饮料类模版对应的选择控件240等等。针对每个模版类型对应的选择控件，用户点击该模版类型对应的选择控件后，界面200中可以显示这个模板类型对应的所有模板。
当然界面200上还可以显示不区分模板类型对应的选择控件250。用户点击这个选择控件250后，界面200可以显示所有可以选择的所有模版类型的模版。
在一些实施例中，在接收到模板210或模板220的选择后，电子设备110可以呈现与模板210或目标220所对应的媒体文件的播放界面，并且可以提供模板210或模板220对应的使用入口。在又一些实施例中，在接收到模板210或模板220的选择后，电子设备110也可以直接呈现基于模板210或模板220来创作媒体内容的界面。
在一些实施例中，电子设备110例如可以基于使用目标模板的请求来呈现如图3A所示的配置界面300A。界面300A中可以显示多个类型的信息的配置控件，以支持用户可以对待生成的媒体内容的参数信息进行配置。在一些实施例中，参数信息可以包括但是不限制于媒体内容的目标时长、视频的尺寸、关于目标对象的描述信息等等。
以图3A为例，界面300A中可以包括媒体内容的尺寸对应的配置控件301、媒体内容的时长对应的配置控件302等等。用户可以基于媒体内容的尺寸对应的配置控件301来选择待生成的媒体内容的目标尺寸。用户还可以基于媒体内容的时长对应的配置控件302来选择待生成的媒体内容的目标时长，以使得所生成的媒体编辑内容具有所指定的目标时长。
如图3A所示，界面300A中还可以包括对象的描述信息的输入控件303和304，其中描述信息可以为对象的名称、对象的描述内容等等。在一些实施例中，这样的对象例如可以包括与待生成的媒体编辑结果相关联的对象，例如，商品对象。在一些实施例中，在媒体编辑结果是针对商品对象的推广内容时，这样的描述内容例如可以包括商品对象的卖点等信息。
在一些实施实施例中，电子设备110还可以获得至少一项媒体素材。在一些实施例中，电子设备110可以获取用户选择的至少一项媒体素材。备选地，这样的媒体素材例如也可以是利用生成技术所自动生成的。
图3B示出了根据本公开的一些实施例的界面300B。如图3B所示，界面300B例如可以示出多项候选媒体素材。这样的多项候选媒体素材可以包括电子设备110的本地媒体素材和/或云端存储的媒体素材。如图B所示，界面300B中可以包括媒体素材对应的选择控件310。用户可以点击媒体素材选择控件310，来选择至少一项媒体素材。
以图3B为例，界面300B可以显示媒体素材1对应的选择控件330、媒体素材2对应的选择控件340、媒体素材3对应的选择控件350等。用户可以点击待选择的媒体素材对应的选择控件来选择期望使用的媒体素材。在一些实施例中，这样的媒体素材可以包括但不限于图片素材、视频素材、音频素材等等。
在一些示例中，目标对象的描述信息可以为电子设备经由配置界面300B获得的，还可以为电子设备经由界面300B获得的。以图3B为例，界面300B中包括对象的描述信息的输入控件320。用户还可以点击对象的描述信息对应的输入控件320来输入目标对象的描述信息。
用户在界面300B中点击对象的描述信息对应的输入控件320之后，电子设备可以显示界面300C。界面300C上可以显示软键盘360，以支持用于基于软键盘360将目标对象的描述信息的输入到输入框370中。用户将目标对象的描述信息输入到输入框370中后，可以点击通过界面300C中的完成对应的控件380，以使电子设备可以接收到用户输入的目标对象对应的描述信息。
作为示例，待生成的视频为与目标产品相关的内容，则用户可以基于界面300A来设置待生成的视频的时长为时长A，且用户可以点击界面300B中的媒体素材1对应的导入控件330、媒体素材2对应的导入控件340、媒体素材3对应的导入控件350来导入与目标产品相关联的媒体素材1、媒体素材2以及媒体素材3。
当电子设备接收到这些输入信息后，可以显示界面300D。界面300D可以显示被选择的至少一项媒体素材以及目标对象的描述信息(例如，“墨镜，潮酷时尚”)，这至少一项媒体素材包括媒体素材1、媒体素材2以及媒体素材3。界面300D上还可以显示用于触发生成过程的控件390。用户可以点击媒体内容生成对应的控件390，来使得电子设备110基于用户选择的模版210相关联的参考文本、媒体素材1、媒体素材2、媒体素材3、目标对象的描述信息和时长A来生成目标文本。
在一些实施例中，所生成的目标文本可以具有与参考文本匹配的风格信息和/或内容结构。这样的风格信息可以包括参考文本的语言风格。这样的内容结构可以指示参考文本中各部分内容的分布。
在一些实施例中，电子设备110可以利用模型来生成这样的目标文本。具体地，电子设备110可以基于参考文本来生成到目标模型的引导信息(也称为prompt)。
在一些实施例中，当电子设备110经由配置界面300A获取到配置参数的情况下，这样的引导信息还可以指示所获取的一项或多项配置参数。例如，这样的引导信息可以指示所接收到的目标对象的名称或描述内容等。备选地或附加地，引导信息可以基于用户所选择的与目标对象相关联的至少一项媒体素材所生成。
在一些实施例中，这样的引导信息还可以指示模型根据参考文本的语言风格和/或内容结构来生成关于目标对象的目标文本。在一些实施例中，可以将参考文本的完整内容包括在引导信息，以指示模型根据参考文本的语言风格和/或内容结构来生成目标文本。
备选地，还可以对参考文本进行预处理，以确定参考文本的风格信息和/或结构信息。进一步地，可以在引导信息中指示参考文本的风格信息和/或结构信息，而不是在引导信息中包含参考文本的完整内容。
进一步地，电子设备110可以获取模型基于参考文本所生成的目标文本。在一些场景中，这样的目标文本也可以称为脚本。
在一些实施例中，电子设备110还可以基于目标文本来生成媒体编辑结果，并将媒体编辑结果提供至用户。这样的媒体编辑结果可以包括基于目标文本而从所选择的至少一项素材中所确定的一组媒体片段。在一些场景中在，这样的一组媒体片段也可以称为高光片段。
在一些实施例中，这样的一组媒体片段的累计时长可以满足经由界面300A所配置的时长范围。在一些实施例中，这样的一组媒体片段的累计时长可以是基于目标文本所对应的口播内容的时长所确定的，使得该累计时长能够匹配口播内容的时长。
以下将进一步介绍该组媒体片段的确定过程。
在一些实施例中，电子设备110和/或服务器130可以对所选择的至少一项媒体素材进行分镜处理，以获取具有相关联语义的多个候选媒体片段。以视频内容作为媒体素材的示例，这样的候选媒体片段例如可以包括具有关联语义信息的视频片段。
进一步地，电子设备110和/或服务器130可以基于所生成的目标文本来从多个候选媒体片段中确定与目标文本匹配的一组媒体片段。
具体地，电子设备110和/或服务器130可以将目标文本划分为多个文本部分，并依次确定与各文本部分匹配的媒体片段。
具体地，电子设备110和/或服务器130可以基于各文本部分与各候选文本片段的语义相似度来确定与各文本部分匹配的媒体片段。在一些实施例中，这样的视频片段可以包括候选媒体片段中的全部或部分内容。
在一些实施例中，在确定该组媒体片段时，电子设备110和/或服务器130还可以考虑各候选媒体片段的画面质量。具体地，电子设备110和/或服务器130可以综合语义相似度和画面质量来综合筛选该组媒体片段，以使得所得到的该组媒体片段的画面质量高于阈值。
进一步，电子设备110可以基于该多个文本片段在目标文本中的顺序来组合该组媒体片段。例如，电子设备110可以基于多个文本片段的先后顺序来拼接对应的多个媒体片段，从而获得媒体编辑结果。
在一些实施例中，这样的媒体编辑结果可以包括直接生成的媒体内容，例如，视频内容。备选地或附加地，这样的媒体编辑结果例如也可以包括媒体草稿文件。
图4A示出了根据本公开的一些实施例的示例编辑界面400A。如图4A所示，编辑界面400A可以呈现所生成的媒体编辑结果，例如，媒体草稿文件。
如图4A所示，该媒体编辑结果可以包括基于目标文本而从所选择的媒体素材中确定的多个媒体片段，例如，媒体片段410、媒体片段420和媒体片段430。
在一些实施例中，电子设备110还可以在多个媒体片段的基础上添加其他素材来生成的媒体编结果。
在一些实施例中，电子设备110例如可以在多个媒体片段410至430的画面上添加与目标文本的相应文本部分所对应的字幕内容或短标题内容。
在一些实施例中，电子设备110还可以在多个媒体片段410至430的基础上叠加与所述目标文本对应的音频内容。作为示例，这样的音频内容可以包括与目标文本所对应的口播内容。
在一些实施例中，这样的音频内容可以是基于用户配置的音频属性所生成。例如，用户可以选择特定的声音效果(例如，音色)，进一步地，电子设备110可以基于所选择的声音效果来生成该音频内容。
在一些实施例中，这样的音频内容(也称为第一音频内容)还可以基于与所选择的目标相关联的音频内容(也称为第二音频内容)的音频属性(例如，音色)所生成。作为示例，电子设备110可以基于对第二音频内容的音色克隆来生成与目标文本对应的第一音频内容。备选地，电子设备110可以使用与第二音频内容相同的声音效果来生成第一音频内容。
在一些实施例中，电子设备110例如还可以支持用户对所生成的第一音频内容进行编辑，以例如修改第一音频内容的指定音频属性。例如，电子设备110可以基于用户所选择的另一声音效果来编辑第一音频内容，从而修改第一音频内容的音色。
在一些实施例中，电子设备110还可以在多个媒体片段410至430的基础叠加背景音乐。这样的背景音乐可以包括用户指定的背景音乐、基于目标文本所推荐的背景音乐或者目标模板所使用的背景音乐。
在一些实施例中，电子设备110还可以接收用户对目标文本的编辑操作，以例如将第一文本修改为第二文本。进一步地，电子设备110可以基于上文所讨论的过程，并基于修改后的第二文本重新从至少一项媒体素材中确定与第二文本匹配的一组媒体内容。进一步地，电子设备110可以基于该组媒体内容来更新媒体编辑结果。关于基于第二文本来重新确定该组媒体内容的过程可以参照上文的描述，在此不做赘述。
在一些实施例中，电子设备110还可以支持用户在界面400A中对媒体草稿进行各种适当的类型的编辑，并基于编辑后的媒体草稿来生成对应的媒体内容。
以图4A和图4B为示例，界面400A和400B还可以显示增加媒体素材对应的控件435，以支持用户可以增加除了媒体素材1、媒体素材2以及媒体素材3以外的其他媒体素材，进而基于这些媒体素材生成新的媒体内容。用户可以通过点击这个增加媒体素材对应的控件435，此时电子设备可以显示界面400C。这个界面400C可以显示所有可添加的媒体素材，且针对之前被添加的媒体素材，电子设备可以在显示界面400C中添加对应的标识信息来标识其已添加为媒体素材，也就是媒体素材1、媒体素材2以及媒体素材3被标识为已添加的媒体素材。针对之前没有被添加的媒体素材，电子设备可以在显示界面400C中显示其对应的添加控件，没有被添加的媒体素材也就是除了媒体素材1、媒体素材2以及媒体素材3以外的其他媒体素材。以图4C作为示例，界面400C中可以显示的媒体素材4对应的选择控件440、媒体素材5对应的选择控件450、媒体素材8对应的选择控件351等。
以用户点击界面400C中的媒体素材8对应的导入控件351为例，电子设备可以显示界面400D。界面400D中可以以突出的显示方式显示媒体素材8被选中。以图4D为例，媒体素材8对应的圆圈中可以显示一个对钩表征其被选中。电子设备还可以在界面400D中的被添加的媒体素材的显示位置481处显示被选中的媒体素材8。当然还可以通过其他突出的显示方式来显示媒体素材被选中，比如以不同的显示颜色来区分被选中的媒体素材以及未被选中的媒体素材等等。用户选择添加媒体素材8后，电子设备可以显示界面400E。界面400E中可以显示目标提示信息，目标提示信息用于提示用户是否确认基于新增加的媒体素材生成新的媒体内容。界面400E中还可以显示有确认控件482。用户可以点击控件482来确认基于新增加的媒体素材8生成新的媒体内容。用户点击控件482之后，电子设备可以显示界面400F，这个界面400F可以显示正在生成的新的媒体内容的提示信息。
在一些实施例中，基于编辑页面中的至少一项编辑操作还可以为针对一组媒体片段中的第一片段的第一操作，第一操作指示对第一媒体素材的选择，以利用第一媒体素材中的第二片段替换第一片段，或/和针对一组媒体片段中的第三片段的第二操作，第二操作指示对与第三片段对应的目标媒体素材中的第四片段的选择，以利用第四片段替换第三片段。
如图4G所示的界面400G，界面400G中可以呈现替换控件491、裁剪控件492。替换控件491用于支持用户将媒体素材2替换为其他的媒体素材。裁剪控件492用于支持用户将媒体素材2中的子媒体素材420转换为媒体素材2中其他的子媒体素材。
用户点击替换控件491后，电子设备可以显示界面400H。这个界面400H可以显示所有媒体素材，且针对之前被选择的媒体素材，电子设备可以在显示界面400H中添加对应的标识来标识这个媒体素材已添加，比如媒体素材1、媒体素材2以及媒体素材3的预设位置可以显示“已添加”字段。针对之前没有被选择的媒体素材，电子设备可以在显示界面中显示其对应的选择控件。如图4H所示的媒体素材4对应的导入控件440、媒体素材5对应的导入控件450、媒体素材8对应的导入控件351、媒体素材10对应的导入控件352等。
以用户点击界面400H中的媒体素材10对应的导入控件352为例，电子设备可以显示界面400I。界面400I中可以以突出的显示方式显示媒体素材10被选中。以图4I为例，界面400I中的媒体素材10对应的圆圈中可以显示一个对钩表征其被选中。
用户选择完媒体素材10后，电子设备可以显示界面400J。界面400J中可以显示正在基于媒体素材1、媒体素材10以及媒体素材3合成新的媒体内容的提示信息。待新的媒体内容被合成后，电子设备可以显示界面400K。这个界面400K可以显示基于媒体素材1、媒体素材10以及媒体素材3生成的新的媒体内容490。界面400K还可以显示媒体素材1、媒体素材10以及媒体素材3对应的子媒体素材，且播放到哪个媒体素材对应的子媒体素材，则可以将这个子媒体素材在界面上突出显示。作为一种示例，电子设备可以将正在播放的子媒体内容以预设的颜色在播放界面上突出显示等。作为另一种示例，电子设备可以将正在播放的子媒体素材在播放界面的预设位置处突出显示等，其中预设位置可以为播放界面的中心位置。
回到图4G，若在播放某一媒体素材对应的子媒体素材时，用户点击了界面400G中的裁剪控件492，则电子设备可以显示界面500。界面500上可以显示有这个媒体素材包含的所有子候选素材510，比如视频中包含的所有图像。界面500上还可以显示这个媒体素材中被选中的子媒体素材的截选框520。用户可以滑动截选框520来对子媒体素材进行裁剪，其中位于截选框520中的子媒体素材为合成的媒体内容中需要展示的。比如，原媒体内容中展示的媒体素材2中的第二帧图像到第十五帧图像，用户可以通过滑动截选框520将第二帧图像到第十五帧图像替换为媒体素材2中的第四帧图像到第十七帧图像。第二帧图像到第十五帧图像对应的长度与第四帧图像到第十七帧图像对应的长度可以相同。
在一些实施例中，用户还可以对媒体编辑结果中的第一音频内容进行编辑。电子设备可以基于对第一音频内容的编辑操作，修改第一音频内容的目标音频属性。以图4G为例，界面400G中可以呈现对第一音频内容的编辑控件，比如音量控件493、调节控件494。声音控件493用于支持用户可以将第一音频内容中的音色进行修改。调节控件493用于支持用户可以将第一音频内容中的背景音乐进行修改。
在一些实施例中，电子设备还可以基于对媒体编辑结果的预设操作，发布与媒体编辑结果对应的媒体作品。如图5所示，界面500中可以包括导出对应的控件，来支持媒体作品的发布。用户可以通过点击导出对应的控件，来发布这个媒体作品。
基于上文所描述的过程，本公开的实施例能够参考模板的文本内容来对素材进行自动处理，并生成媒体编辑编辑结果。由此，本公开的实施例能够提高所生成的媒体内容的质量。
示例过程
图6示出了根据本公开的一些实施例的生成媒体内容的过程600的流程图。过程600可以被实现在电子设备110处。下面参考图1描述过程600。
在框610，电子设备110接收对目标模板的选择，目标模板与参考文本相关联。
在框620，电子设备110基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构。
在框630，电子设备110基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
在一些实施例中，一组媒体片段是基于以下过程所确定：基于对至少一项媒体素材的分镜处理，确定多个候选媒体片段；以及基于多个候选媒体片段与参考文本的匹配程度，从多个候选媒体片段中确定一组媒体片段。
在一些实施例中，基于多个候选媒体片段与参考文本的匹配程度从多个候选媒体片段中确定一组媒体片段包括：
基于匹配程度和多个候选媒体片段的画面质量，从多个候选媒体片段中确定一组媒体片段，一组媒体片段的画面质量高于阈值。
在一些实施例中，一组媒体片段对应于参考文本的一组文本部分，并且基于目标文本生成媒体编辑结果包括：基于一组文本部分在参考文本中的顺序，组合一组媒体片段，以生成媒体编辑结果。
在一些实施例中，基于参考文本生成关于目标对象目标文本包括：经由配置界面获取配置信息，配置信息包括关于目标对象的描述信息；以及基于参考文本和配置信息，生成目标文本。
在一些实施例中，配置信息包括关于待生成的媒体内容的参数信息。
在一些实施例中，参数信息包括媒体内容的目标时长，并且所生成的目标文本与目标时长匹配。
在一些实施例中，基于参考文本生成关于目标对象的目标文本包括：接收对与目标对象相关联的至少一项媒体素材的选择；以及基于参考文本和至少一项媒体素材，生成目标文本。
在一些实施例中，基于参考文本生成关于目标对象的目标文本包括：基于参考文本和至少一项媒体素材，生成到目标模型的引导信息；以及向目标模型提供引导信息，以获取目标模型基于参考文本生成的目标文本。
在一些实施例中，目标模板包括参考媒体内容，并且接收对目标模板的选择包括：显示参考媒体内容的查看界面；以及
接收对查看界面中的创建入口的选择。
在一些实施例中，一组媒体片段为第一组媒体片段，目标文本为第一文本，过程600还包括：接收对第一文本的编辑操作；基于编辑后的第二文本，从至少一项媒体素材中确定第二组媒体片段；以及基于第二组媒体片段，更新媒体编辑结果。
在一些实施例中，媒体编辑结果包括与目标文本对应的字幕内容和/或与目标文本对应的第一音频内容。
在一些实施例中，第一音频内容基于目标模板的第二音频内容的第一音频属性和/或用户配置的第二音频属性所生成。
在一些实施例中，过程600还包括：基于对第一音频内容的编辑操作，修改第一音频内容的目标音频属性。
在一些实施例中，媒体编辑结果包括媒体草稿，过程600还包括：在编辑界面中呈现媒体草稿；以及基于编辑界面中的至少一项编辑操作，更新媒体草稿。
在一些实施例中，至少一项编辑操作包括：针对一组媒体片段中的第一片段的第一操作，第一操作指示对第一媒体素材的选择，以利用第一媒体素材中的第二片段替换第一片段；或针对一组媒体片段中的第三片段的第二操作，第二操作指示对与第三片段对应的目标媒体素材中的第四片段的选择，以利用第四片段替换第三片段。
在一些实施例中，过程600还包括：基于对媒体编辑结果的预设操作，发布与媒体编辑结果对应的媒体作品。
示例装置和设备
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图7示出了根据本公开的某些实施例的提供媒体内容的装置700的示意性结构框图。装置700可以被实现为或者被包括在如上文所讨论的电子设备110中。装置700中的各个模块/组件可以由硬件、软件、固件或者它们的任意组合来实现。
如图7所示，装置700包括第一接收模块710，被配置为接收对目标模板的选择，目标模板与参考文本相关联；第一生成模块720，被配置为基于参考文本生成关于目标对象的目标文本，目标文本具有与参考文本匹配的风格信息和/或内容结构；以及第二生成模块730，被配置为基于目标文本生成媒体编辑结果，媒体编辑结果包括基于目标文本从与目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
在一些实施例中，一组媒体片段是基于以下过程所确定：基于对至少一项媒体素材的分镜处理，确定多个候选媒体片段；以及基于多个候选媒体片段与参考文本的匹配程度，从多个候选媒体片段中确定一组媒体片段。
在一些实施例中，基于多个候选媒体片段与参考文本的匹配程度从多个候选媒体片段中确定一组媒体片段包括：
基于匹配程度和多个候选媒体片段的画面质量，从多个候选媒体片段中确定一组媒体片段，一组媒体片段的画面质量高于阈值。
在一些实施例中，一组媒体片段对应于参考文本的一组文本部分，并且基于目标文本生成媒体编辑结果包括：基于一组文本部分在参考文本中的顺序，组合一组媒体片段，以生成媒体编辑结果。
在一些实施例中，第一生成模块720，具体被配置为经由配置界面获取配置信息，配置信息包括关于目标对象的描述信息；以及基于参考文本和配置信息。
在一些实施例中，配置信息包括关于待生成的媒体内容的参数信息。
在一些实施例中，参数信息包括媒体内容的目标时长，并且所生成的目标文本与目标时长匹配。
在一些实施例中，第一生成模块720，具体被配置为：接收对与目标对象相关联的至少一项媒体素材的选择；以及基于参考文本和至少一项媒体素材，生成目标文本。
在一些实施例中，第一生成模块，具体被配置为基于参考文本和至少一项媒体素材，生成到目标模型的引导信息；以及向目标模型提供引导信息，以获取目标模型基于参考文本生成的目标文本。
在一些实施例中，目标模板包括参考媒体内容，并且接收模块710，具体被配置为显示参考媒体内容的查看界面；以及接收对查看界面中的创建入口的选择。
在一些实施例中，一组媒体片段为第一组媒体片段，目标文本为第一文本，装置700还包括第二接收模块，被配置为：接收对第一文本的编辑操作；确定模块，被配置为：基于编辑后的第二文本，从至少一项媒体素材中确定第二组媒体片段；以及第一更新模块，被配置为：基于第二组媒体片段，更新媒体编辑结果。
在一些实施例中，媒体编辑结果包括与目标文本对应的字幕内容和/或与目标文本对应的第一音频内容。
在一些实施例中，第一音频内容基于目标模板的第二音频内容的第一音频属性和/或用户配置的第二音频属性所生成。
在一些实施例中，装置700还包括修改模块，被配置为：基于对第一音频内容的编辑操作，修改第一音频内容的目标音频属性。
在一些实施例中，媒体编辑结果包括媒体草稿，装置700还包括呈现模块，被配置为：在编辑界面中呈现媒体草稿；以及第二更新模块，被配置为：基于编辑界面中的至少一项编辑操作，更新媒体草稿。
在一些实施例中，至少一项编辑操作包括：针对一组媒体片段中的第一片段的第一操作，第一操作指示对第一媒体素材的选择，以利用第一媒体素材中的第二片段替换第一片段；或针对一组媒体片段中的第三片段的第二操作，第二操作指示对与第三片段对应的目标媒体素材中的第四片段的选择，以利用第四片段替换第三片段。
在一些实施例中，装置700还包括发布模块，被配置为：基于对媒体编辑结果的预设操作，发布与媒体编辑结果对应的媒体作品。
装置700中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置700中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图8示出了其中可以实施本公开的一个或多个实施例的电子设备800的框图。应当理解，图8所示出的电子设备800仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图8所示出的电子设备800可以用于实现图1所示的电子设备110。
如图8所示，电子设备800是通用电子设备的形式。电子设备800的组件可以包括但不限于一个或多个处理器或处理单元810、存储器820、存储设备830、一个或多个通信单元840、一个或多个输入设备850以及一个或多个输出设备860。处理单元810可以是实际或虚拟处理器并且能够根据存储器820中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备800的并行处理能力。
电子设备800通常包括多个计算机存储介质。这样的介质可以是电子设备800可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器820可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备830可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备800内被访问。
电子设备800可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图8中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器820可以包括计算机程序产品825，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元840实现通过通信介质与其他电子设备进行通信。附加地，电子设备800的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备800可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备850可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备860可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备800还可以根据需要通过通信单元840与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备800交互的设备进行通信，或者与使得电子设备800与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (20)

  1. 一种生成媒体内容的方法，包括：
    接收对目标模板的选择，所述目标模板与参考文本相关联；
    基于所述参考文本，生成关于目标对象的目标文本，所述目标文本具有与所述参考文本匹配的风格信息和/或内容结构；以及
    基于所述目标文本生成媒体编辑结果，所述媒体编辑结果包括基于所述目标文本从与所述目标对象相关联的至少一项媒体素材中确定的一组媒体片段。
  2. 根据权利要求1所述的方法，其中所述一组媒体片段是基于以下过程所确定：
    基于对所述至少一项媒体素材的分镜处理，确定多个候选媒体片段；以及
    基于所述多个候选媒体片段与所述参考文本的匹配程度，从所述多个候选媒体片段中确定所述一组媒体片段。
  3. 根据权利要求2所述的方法，其中基于所述多个候选媒体片段与所述参考文本的匹配程度从所述多个候选媒体片段中确定所述一组媒体片段包括：
    基于所述匹配程度和所述多个候选媒体片段的画面质量，从所述多个候选媒体片段中确定所述一组媒体片段，所述一组媒体片段的所述画面质量高于阈值。
  4. 根据权利要求1所述的方法，其中所述一组媒体片段对应于所述参考文本的一组文本部分，并且基于所述目标文本生成媒体编辑结果包括：
    基于所述一组文本部分在所述参考文本中的顺序，组合所述一组媒体片段，以生成所述媒体编辑结果。
  5. 根据权利要求1所述的方法，其中基于所述参考文本生成关于目标对象的目标文本包括：
    经由配置界面获取配置信息，所述配置信息包括关于所述目标对象的描述信息；以及
    基于所述参考文本和所述配置信息，生成所述目标文本。
  6. 根据权利要求5所述的方法，其中所述配置信息还包括关于待生成的媒体内容的参数信息。
  7. 根据权利要求6所述的方法，其中所述参数信息包括所述媒体内容的目标时长，并且所生成的所述目标文本与所述目标时长匹配。
  8. 根据权利要求5所述的方法，其中基于所述参考文本生成关于目标对象的目标文本包括：
    接收对与所述目标对象相关联的所述至少一项媒体素材的选择；以及
    基于所述参考文本和所述至少一项媒体素材，生成所述目标文本。
  9. 根据权利要求1所述的方法，其中基于所述参考文本生成关于目标对象的目标文本包括：
    基于所述参考文本，生成到目标模型的引导信息；以及
    向所述目标模型提供所述引导信息，以获取所述目标模型基于所述参考文本生成的所述目标文本。
  10. 根据权利要求1所述的方法，其中所述目标模板包括参考媒体内容，并且接收对目标模板的选择包括：
    显示所述参考媒体内容的查看界面；以及
    接收对所述查看界面中的创建入口的所述选择。
  11. 根据权利要求1所述的方法，其中所述一组媒体片段为第一组媒体片段，所述目标文本为第一文本，所述方法还包括：
    接收对所述第一文本的编辑操作；
    基于编辑后的第二文本，从至少一项媒体素材中确定第二组媒体片段；以及
    基于所述第二组媒体片段，更新所述媒体编辑结果。
  12. 根据权利要求1所述的方法，其中所述媒体编辑结果包括与所述目标文本对应的字幕内容和/或与所述目标文本对应的第一音频内容。
  13. 根据权利要求12所述的方法，其中所述第一音频内容基于所述目标模板的第二音频内容的第一音频属性和/或用户配置的第二音频属性所生成。
  14. 根据权利要求12所述的方法，还包括：
    基于对所述第一音频内容的编辑操作，修改所述第一音频内容的目标音频属性。
  15. 根据权利要求1所述的方法，其中所述媒体编辑结果包括媒体草稿，还包括：
    在编辑界面中呈现所述媒体草稿；以及
    基于所述编辑界面中的至少一项编辑操作，更新所述媒体草稿。
  16. 根据权利要求15所述的方法，其中所述至少一项编辑操作包括：
    针对所述一组媒体片段中的第一片段的第一操作，所述第一操作指示对第一媒体素材的选择，以利用所述第一媒体素材中的第二片段替换所述第一片段；或
    针对所述一组媒体片段中的第三片段的第二操作，所述第二操作指示对与所述第三片段对应的目标媒体素材中的第四片段的选择，以利用所述第四片段替换所述第三片段。
  17. 一种用于生成媒体内容的装置，包括：
    第一接收模块，被配置为接收对目标模板的选择，所述目标模板与参考文本相关联；
    第一生成模块，被配置为基于所述参考文本和至少一项媒体素材，生成目标文本，所述目标文本具有与所述参考文本匹配的风格信息和/或内容结构；以及
    第二生成模块，被配置为基于所述目标文本生成媒体编辑结果，所述媒体编辑结果包括基于所述目标文本从所述至少一项媒体素材中确定的一组媒体片段。
  18. 一种电子设备，包括：
    至少一个处理单元；以及
    至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至16中任一项所述的方法。
  19. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至16中任一项所述的方法。
  20. 一种计算机程序产品，包括计算机可执行指令，其中所述计算机可执行指令在被处理器执行时实现根据权利要求1至16中任一项所述的方法。
PCT/CN2025/083571 2024-03-28 2025-03-19 生成媒体内容的方法、装置、设备和存储介质 Pending WO2025201150A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202410370680.X 2024-03-28
CN202410370680.XA CN120730120A (zh) 2024-03-28 2024-03-28 生成媒体内容的方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
WO2025201150A1 true WO2025201150A1 (zh) 2025-10-02

Family

ID=97165378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2025/083571 Pending WO2025201150A1 (zh) 2024-03-28 2025-03-19 生成媒体内容的方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN120730120A (zh)
WO (1) WO2025201150A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691836A (zh) * 2021-10-26 2021-11-23 阿里巴巴达摩院(杭州)科技有限公司 视频模板生成方法、视频生成方法、装置和电子设备
KR20220074663A (ko) * 2020-11-27 2022-06-03 이효선 홍보 영상 컨텐츠 제작 방법 및 이를 구현하는 소프트웨어가 기록된 저장매체
CN116527994A (zh) * 2023-04-19 2023-08-01 五八畅生活(北京)信息技术有限公司 视频的生成方法及装置、电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074663A (ko) * 2020-11-27 2022-06-03 이효선 홍보 영상 컨텐츠 제작 방법 및 이를 구현하는 소프트웨어가 기록된 저장매체
CN113691836A (zh) * 2021-10-26 2021-11-23 阿里巴巴达摩院(杭州)科技有限公司 视频模板生成方法、视频生成方法、装置和电子设备
CN116527994A (zh) * 2023-04-19 2023-08-01 五八畅生活(北京)信息技术有限公司 视频的生成方法及装置、电子设备

Also Published As

Publication number Publication date
CN120730120A (zh) 2025-09-30

Similar Documents

Publication Publication Date Title
WO2025168004A1 (zh) 创建虚拟对象的方法、装置、设备和存储介质
WO2025103333A1 (zh) 媒体内容的生成方法、显示方法和相关设备
US20230127373A1 (en) Video processing method and apparatus, device and computer readable storage medium
WO2025251807A1 (zh) 生成音乐的方法、装置、设备和存储介质
WO2025208987A1 (zh) 设置封面的方法、装置、设备和存储介质
WO2025168082A1 (zh) 内容展示方法、作品发布方法、装置、设备和存储介质
WO2025218792A1 (zh) 发布作品的方法、装置、设备和存储介质
CN119002781A (zh) 创建模板的方法、装置、设备和存储介质
CN117834576A (zh) 表情交互的方法、装置、设备和存储介质
CN117835008A (zh) 视频编辑素材生成方法、客户端、服务端及系统
WO2025195387A1 (zh) 发布作品和查看作品的方法、装置、设备和存储介质
US12524940B2 (en) Method, apparatus, device and storage medium for video generation
CN119847401A (zh) 媒体编辑的方法、装置、设备和存储介质
WO2025176213A1 (zh) 媒体资源输入方法、装置、设备和存储介质
WO2025201359A1 (zh) 创建媒体频道和查看媒体内容的方法、装置、设备及介质
WO2025201150A1 (zh) 生成媒体内容的方法、装置、设备和存储介质
CN118550625A (zh) 生成媒体内容方法、装置、设备和存储介质
JP7562610B2 (ja) 映像コンテンツに対する合成音のリアルタイム生成を基盤としたコンテンツ編集支援方法およびシステム
CN121256124A (zh) 交互方法、装置、设备和存储介质
US20250371774A1 (en) Method, apparatus and device for generating effect and storage medium
US20260064361A1 (en) Media content processing
US20250365467A1 (en) Interactive content cards for video
US20260120364A1 (en) Media content generation
CN120881328A (zh) 生成媒体内容的方法、装置、设备和存储介质
WO2026012153A1 (zh) 生成媒体内容的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25778288

Country of ref document: EP

Kind code of ref document: A1