WO2025113271A1 - 互动多媒体内容的生成方法、装置、电子设备和存储介质 - Google Patents

互动多媒体内容的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2025113271A1
WO2025113271A1 PCT/CN2024/133084 CN2024133084W WO2025113271A1 WO 2025113271 A1 WO2025113271 A1 WO 2025113271A1 CN 2024133084 W CN2024133084 W CN 2024133084W WO 2025113271 A1 WO2025113271 A1 WO 2025113271A1
Authority
WO
WIPO (PCT)
Prior art keywords
plot
node
text
content
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/CN2024/133084
Other languages
English (en)
French (fr)
Inventor
张子健
林佩吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Publication of WO2025113271A1 publication Critical patent/WO2025113271A1/zh
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Definitions

  • the present disclosure relates to the field of computer technology, and in particular to a method, device, electronic device and storage medium for generating interactive multimedia content.
  • Interactive multimedia content is a type of content that integrates multiple elements such as images, sounds, and text, and can provide an interactive interface for its viewers (or users), such as games, interactive movies, interactive TV series, etc.
  • Interactive multimedia content is generally produced by professional designers and developers. It requires a series of processes such as plot creation, drawing by artists, coding by developers or organizing actors to shoot, and post-processing to be completed. In addition, the production process of interactive multimedia content of different genres requires different professionals and production processes.
  • a method for generating interactive multimedia content comprising: receiving description information input by a user; generating a content text based on the description information and a target genre, wherein the content text includes a description text of the plot content and a description text of a visual transformation corresponding to the target genre; generating interactive multimedia content based on the content text; and displaying the interactive multimedia content and the content text, wherein the interactive multimedia content presents a visual transformation effect corresponding to the description text of the visual transformation.
  • a device for generating interactive multimedia content comprising: a receiving module configured to receive description information input by a user; a content generating module configured to generate content text according to the description information and a target genre, wherein the content text includes a description text of the plot content and a description text of the visual transformation corresponding to the target genre; a multimedia generating module configured to generate interactive multimedia content according to the content text; and a display module configured to display the interactive multimedia content and the The content text, wherein the interactive multimedia content presents a visual transformation effect corresponding to the description text of the visual transformation.
  • an electronic device comprising: a memory; and a processor coupled to the memory, wherein the processor is configured to execute the method for generating interactive multimedia content of any embodiment of the present disclosure based on instructions stored in the memory.
  • a computer-readable storage medium on which a computer program is stored.
  • the program is executed by a processor, the method for generating interactive multimedia content according to any embodiment of the present disclosure is performed.
  • FIG1 is a schematic diagram showing a flow chart of a method for generating interactive multimedia content according to some embodiments of the present disclosure
  • FIG2 is a schematic diagram showing an authoring interface of some embodiments of the present disclosure.
  • FIG3 is a schematic flow chart showing a method for generating interactive multimedia content according to other embodiments of the present disclosure
  • FIG4 is a schematic diagram showing an authoring interface of other embodiments of the present disclosure.
  • FIG5 is a schematic diagram showing an authoring interface according to yet other embodiments of the present disclosure.
  • FIG6 is a schematic diagram showing a screen of interactive multimedia content according to some embodiments of the present disclosure.
  • FIG7 is a schematic diagram showing an authoring interface according to still other embodiments of the present disclosure.
  • FIG8 is a schematic diagram showing the structure of an apparatus for generating interactive multimedia content according to some embodiments of the present disclosure
  • FIG9 is a schematic diagram showing the structure of an electronic device according to some embodiments of the present disclosure.
  • FIG. 10 is a schematic diagram showing the structure of a computer system according to some embodiments of the present disclosure.
  • interactive multimedia content belongs to professional generated content (PGC), and its generation process has a high threshold and usually involves the cooperation of professionals in multiple fields.
  • PPC professional generated content
  • Interactive multimedia content is difficult to produce in the form of user generated content (UGC), and its generation efficiency is relatively low. Due to the different forms of expression of interactive multimedia content of different genres, it is even more difficult to efficiently produce interactive multimedia content of different genres in the form of user generated content.
  • the present disclosure proposes a method, device, electronic device and storage medium for generating interactive multimedia content.
  • the method for generating interactive multimedia content of the present disclosure is described below in conjunction with FIGS.
  • Fig. 1 is a flow chart of some embodiments of the method for generating interactive multimedia content disclosed in the present invention. As shown in Fig. 1, the method of this embodiment includes: steps S102 to S108.
  • step S102 description information input by a user is received.
  • the description information input by the user includes key information that can be used to describe the interactive multimedia content to be generated.
  • the description information may include at least one of the description information of the plot, the description information of the characters (or roles), the description information of the scene, and the description information of the soundtrack.
  • Different types of description information can be input through different interfaces.
  • the description information may describe the story background of the interactive multimedia content to be generated, the protagonist and related roles, the general context and plot of the story, and the final ending, etc.
  • step S104 a content text is generated according to the description information and the target genre.
  • the target genre is the genre (or media type) of the interactive multimedia content finally generated.
  • the target genre includes at least one of: a game, an interactive TV series, and an interactive movie, but is not limited to the examples given.
  • a generative model is used to generate content text based on descriptive information and target genre.
  • the generative model is used to output target content based on input information.
  • the input information includes the processing of the generative model during the generation process. Basis, for example, which information is referenced to perform the generation process, the requirements of the target content of the output, etc.
  • the generative model includes, for example, a model based on text generation, or a model based on image generation, and the output of the generative model may include text, image, or a combination of the two.
  • the input or output of the generative model may also be data of other modalities, such as audio, video, or a combination of multiple types of data.
  • the generative model may be a single modality model, such as a model based on text generation (referred to as “text-generated text model”), a model based on image generation (referred to as “image-generated image model”); or, the generative model may also be a cross-modal model, that is, a model whose input and output belong to different modalities, such as a model based on text generation (referred to as “text-generated image model”); or, the input of the generative model may include multiple modalities, and the output may also include multiple modalities.
  • the content text is used to describe the plot, presentation form, etc. of the interactive multimedia content to be generated.
  • the content text includes at least one of a description text of the plot content and a description text of the visual transformation corresponding to the target genre.
  • the description text of the plot content includes the plot information expanded by a generative model based on the description information of the plot in the description information input by the user.
  • the story content is richer, with more details, and closer to the plot information in the real script.
  • the visual transformation includes at least one of the operation of the lens, the switching of the background, and the change of the character's posture.
  • the game screen is relatively fixed, the character's posture is relatively simple, and the lens operation is rarely or even non-existent.
  • the narrative speed of the interactive TV series is slow, and a lens may last for a long time.
  • the lens change frequency is low, and the style is also small.
  • the character's posture and background last for a long time.
  • the narrative speed of the interactive movie is fast, the lens change frequency is high, the style is more, and the characters and background are more dynamic. Therefore, different description texts of visual transformation can be generated for different target genres.
  • step S106 interactive multimedia content is generated according to the content text.
  • a generative model is used to generate interactive multimedia content based on content text.
  • the generative model here can be a text-generated image model or a text-generated video model. Since the content-generated text already includes the description text of the plot content and the description text of the visual transformation, corresponding pictures, characters, sounds, etc. can be generated based on these texts and present corresponding visual effects.
  • step S108 the interactive multimedia content and the content text are displayed.
  • the interactive multimedia content and the content text may be displayed simultaneously, for example, in different areas of the interface, and displayed in correspondence (or association). For example, based on the progress of the interactive multimedia content display, the text may be scrolled.
  • the interactive multimedia content and the content text may also be displayed separately in different interfaces. For example, the interactive multimedia content is displayed first, and in response to a trigger operation for displaying the content text, the interactive multimedia content may be displayed in a floating layer, a new window, or a new page. The content text is displayed in the page.
  • the interactive multimedia content may be divided into multimedia content of one or more plot nodes, and the content text includes the content text of each plot node.
  • the multimedia content of each plot node and the content text of the plot node are associated and displayed.
  • Steps S104 and S106 can be implemented on the client side or on the server side.
  • the client sends the description information to the server side, and receives the content text and interactive multimedia content returned by the server side for display.
  • the relevant steps displayed in this disclosure can be implemented through a graphical user interface (GUI).
  • GUI graphical user interface
  • the method of the above embodiment can automatically generate content text based on the description information and target genre input by the user, and automatically generate interactive multimedia content based on the content text.
  • a description text of visual transformation that matches the target genre can also be generated, so that the generated interactive multimedia content presents a visual transformation effect corresponding to the target genre.
  • the user only needs to simply input the description information to generate the expanded content text, and further generate interactive multimedia content of different genres, thereby improving the efficiency of creating interactive multimedia content and saving resources.
  • Ordinary users can also participate in the creation and development of stories to better interact with the characters and create their own unique stories, thereby improving the feasibility of creating interactive multimedia content and converting more creativity into interactive multimedia products.
  • the description information is parsed to determine the genre (or media type) corresponding to the description information as the target genre; or, a user selection operation of one or more genres among multiple genres is received, and the one or more genres are determined as the target genre.
  • the description information may include keywords corresponding to the genre of the interactive multimedia content that the user wants to create, such as games, movies, TV series, etc. These keywords can be identified to determine the target genre.
  • the content of description information of different genres may be different. Games contain more interactive plots and simpler plots, while interactive TV series have longer plots and more plots. Therefore, a machine learning model can be used to parse and understand the description information, and determine the genre corresponding to the description information as the target genre.
  • the machine learning model can be an AI (Artificial Intelligence) model, a large model, etc. Specifically, it can be a neural network, a deep learning model, a generative model, etc.
  • the determined genre may be displayed, and in response to a confirmation operation by the user, the confirmed genre may be used as a target genre.
  • the homepage or creation interface may include a selection control for multiple genres, and the user may select one or more genres to determine one or more genres as target genres. If the user selects multiple genres, multiple interactive multimedia contents may be generated respectively.
  • the description information may include at least one of description information of the plot, description information of the characters (or roles), description information of the scene, and description information of the soundtrack.
  • the plot description information includes: plot summary information and at least one of the plot information of each of the one or more plot nodes.
  • the plot summary information can be used to describe the story content of the interactive multimedia content to be generated.
  • the plot summary information can include brief description information of at least one of the global background, beginning, process, and ending of the story. The process and ending of the story can have multiple situations, which can be described separately.
  • the creation interface can distinguish different panels.
  • the creation interface includes a story panel, a character panel, etc.
  • the story panel can be displayed in response to a user's triggering operation on the story panel, and the description information of the plot can be input in the story panel.
  • an input area for the story content can be displayed in the story panel to receive the plot summary information input by the user.
  • the input area for the story content can input the global background and/or the beginning of the story, and an input area for the ending (or success condition) can also be set to input the ending (or success condition) of the story.
  • the overall plot of the interactive multimedia content to be generated can be divided into one or more plot nodes (also referred to as plots or chapters).
  • one or more plot nodes and plot information of each plot node can be generated according to the plot summary information.
  • the plot summary information can be split using a text generation model to generate plot information of each plot node, and then a description text of the plot content of each plot node is generated according to the plot information of each plot node. That is, the description text of the plot content generated includes the description text of the plot content of each plot node in the one or more plot nodes.
  • the description information of the plot input by the user may also include the plot information of each plot node in one or more plot nodes.
  • the story panel may distinguish plot nodes (also referred to as plots or chapters) to receive the user's input respectively, and the plot information of each plot node is used to describe the story content of each plot node.
  • the story content of each plot node may include brief description information of at least one of the background, beginning, process, and ending of the node.
  • a story panel is displayed, and a plot adding control 201 is displayed in the story panel for adding one or more plot nodes, and the plot information of each plot node input by the user is received through the input area of each plot node.
  • the input area of each plot node may include a story content description area 202 of the plot node, an ending description area 203 of the plot node, and may also include at least one of a speaking role selection area 204, a music selection (upload) area 205, and a picture selection (upload) area 206.
  • Corresponding areas can be set in different areas.
  • Guidance information is used to guide user input.
  • the music or pictures selected or uploaded by the user can be used as background music or background (scene) pictures to generate multimedia content corresponding to the plot node. If the description information does not contain these specific information, it can be automatically generated through the generative model.
  • Fig. 3 is a flow chart of some other embodiments of the method for generating interactive multimedia content of the present disclosure. As shown in Fig. 3, the method of this embodiment includes: steps S302 to S310.
  • step S302 description information input by a user is received.
  • step S304 the description information is parsed using a text generation model to generate a description text of the plot content of each of the one or more plot nodes.
  • a text generation model can be used to first generate plot information for each of one or more plot nodes based on the plot summary information, and then generate a description text of the plot content of each plot node based on the plot information of each plot node.
  • a text generation model may be used to generate a description text of the plot content of each plot node according to the plot information of each plot node.
  • a text generation model may be used to combine the plot summary information and the plot information of each plot node to generate a description text of the plot content of each plot node.
  • a text generation model is used to generate a description text of the plot content of each plot node according to the description information and the target genre.
  • the description text of the plot content of each plot node can be expanded to different degrees with reference to the target genre. For example, when the target genre is a game, the description text of the plot content of each plot node can be relatively simple. When the target genre is an interactive TV series, the description text of the plot content of each plot node will be more complex.
  • a text generation model is used to generate a description text of the plot content of each plot node based on the description information and the plot generation prompt information.
  • the plot generation prompt information is used to assist in generating the description text of the plot content of each plot node.
  • the plot generation prompt information includes prompt information related to the plot type and the target genre, and the plot type can be determined based on the description information.
  • the prompt information of an adventure game may include examples of adventure plots
  • the prompt information of an action game may include examples of role fighting.
  • the description information input by the user includes the description information of the plot and may also include: the logical relationship between the multiple plot nodes.
  • the logical relationship between the multiple plot nodes is used to determine the order of the plot nodes, the sequence of the plot nodes from one plot node to the next plot node, and the logical relationship between the multiple plot nodes.
  • the interactive operation node can be used as a special type of plot node, including plots that require players (or viewing users or operating users) to interact during the development of the plot. Different interactive operation nodes can guide the plot to different branches.
  • the description information also includes: description information of the interactive operation node and/or the logical relationship between the plot node and the interactive operation node.
  • a setting interface is displayed to receive the user's setting of the logical relationship between the plot nodes and the interactive operation nodes, and the set logical relationship between the plot nodes and the interactive operation nodes is displayed.
  • the setting interface may display initial setting information automatically generated according to the description information input by the user, for example, the initial setting information includes each plot node, each interactive operation node, and the logical relationship between the plot node and the interactive operation node.
  • the user may adjust the initial setting information.
  • the user may also directly set each plot node, each interactive operation node, and the logical relationship between the plot node and the interactive operation node in the setting interface.
  • the story setting interface is displayed in the form of a flowchart, which is more convenient for users to clearly and accurately set the logical relationship between the plot nodes and the interactive operation nodes, but is not limited to the examples given.
  • the flowchart includes multiple plot nodes 401 and multiple interactive operation nodes 402, and the lines between the nodes represent the logical relationship between them.
  • Each node can be displayed with a node (plot or chapter) name or introduction.
  • the flowchart can be automatically generated by a generative model based on the description information input by the user, and the user can adjust or confirm it.
  • the flowchart can also be generated based on the plot information of one or more plot nodes input by the user (for example, as shown in Figure 2) and/or the description information of one or more interactive operation nodes. Or the flowchart can be directly configured by the user.
  • the interactive operation node is used to configure the plot that can be interacted with by the player (or the viewing user or the operating user), and different plot branches can be taken through different interactive operation nodes.
  • the plot node or interactive operation node it can not only be displayed in the form of a flow chart, but also in response to the user's configuration or selection of each plot node or interactive operation node, the description text of the plot content of any plot node generated and/or the description text of any interactive operation node, as well as the multimedia content of any plot node generated and/or the multimedia content of any interactive operation node generated can be displayed.
  • a text generation model is used to parse the description information to generate each interactive operation node.
  • the description text of each interactive operation node includes the description text of the interactive operation options displayed to the operating user.
  • the content interface 403 of the interactive operation node can be displayed based on the user's configuration or selection.
  • the content interface can be displayed in the form of a window or a floating layer corresponding to the node.
  • the content interface may include a description text of the interactive operation node. For example, in the plot of the interactive operation node, the astronauts come to a fork in the road, and astronaut x says, “This looks like a fork in the road, which direction should we go next?”, etc.
  • the description text of each interactive operation option can also be displayed, for example, A. Explore the mountains, B. Explore the basin... This allows the user to see the description text corresponding to each node very intuitively and accurately, and can make adjustments.
  • the description text of each interactive operation node may be part of the description text of the plot content.
  • a text generation model to parse the description information, not only the description text of the plot content of each plot node can be generated, but also the description text of each interactive operation node can be generated.
  • the design of characters (or roles) in interactive multimedia content is a very important part, and the character's speech or dialogue is also an important part of the plot.
  • the description text of the plot content at each plot node in the generated plot content description text can include the speeches of different characters. These speeches need to be determined based on the development of the plot on the one hand, and on the other hand, they also need to be determined based on the characteristics, relationships, and images of the characters.
  • the descriptive text of the character can be generated by the generative model based on the description information.
  • the descriptive text of the character may include at least one of the name, personality, identity, relationship between the characters, speaking style, and voice characteristics, but is not limited to the examples given.
  • the descriptive information input by the user includes character setting information of one or more characters.
  • the character setting information of each character may also include at least one of the name, personality, identity, relationship between the characters, speaking style, voice characteristics, and image, but is not limited to the examples given.
  • the setting information of the character is more concise than the descriptive text of the character.
  • the descriptive information is parsed using a text generation model to generate a descriptive text for each character.
  • the creation interface may include a character panel, receive a user's trigger operation on the character panel, display the character panel, and enter the setting information of one or more characters in the character panel.
  • the character panel is displayed, and a role adding control 501 is displayed in the character panel, which is used to add one or more characters (or roles), and the setting information of the characters entered by the user is received through the input area of each character.
  • the input area of each character may include a name setting area 502 of the character, a basic setting area 503 of the character, and may also include at least one of a line style setting area 504, a character music setting area 505, a character avatar setting area 506, and a character standing picture setting area 507. Corresponding guidance information can be set in different areas to guide user input.
  • the input area of each character in Figure 5 can display the initial description text generated based on the description information, and the user can adjust it.
  • a text generation model is used to generate a description text for each character based on the description information and character generation prompt information.
  • the character generation prompt information may correspond to different character types, for example, the character generation prompt information includes language examples of different types of characters.
  • the description information input by the user may also include at least one of scene setting information and picture style setting information. These may also assist in generating a description text of the plot content.
  • the scene setting information may, for example, describe the scenery in the background.
  • the picture style setting information may, for example, be anime style, Chinese style, etc.
  • the description text of the plot content can be automatically generated, which improves the generation efficiency of interactive multimedia content, lowers the creation threshold, and enables ordinary users to freely create interactive multimedia content.
  • step S306 a text generation model is used to determine the information of visual transformation between different pictures in each plot node according to the description information and the target genre, and a description text of the visual transformation corresponding to each plot node is generated.
  • the description information includes description information of visual transformations and/or description information of visual transformations corresponding to each plot node.
  • the description information of visual transformations may include general description information such as using close-up shots when a character speaks or acts, using a zoom-in approach when entering a plot or chapter, using body movements when the character speaks, and background changes over time.
  • the description information of visual transformations corresponding to each plot node may be more specific.
  • the description information of visual transformations corresponding to the plot node may include, in combination with the plot information, the character talks while running, close-ups of the character, and the background changes as the character runs.
  • a text generation model can be used to expand the description information and the target genre to determine information on visual transformation between different pictures in each plot node.
  • the text generation model can be used to directly determine the information of visual transformation between different pictures in each plot node based on the description information and the target genre.
  • a text generation model is used to determine the visual transformation information between different pictures in each plot node based on the description information, the target genre, and the visual transformation prompt information, and generate a description text of the visual transformation corresponding to each plot node.
  • the visual transformation prompt information is used to assist in generating the description text of the visual transformation.
  • the visual transformation prompt information includes prompt information corresponding to the target genre. For example, some shots of an interactive movie Examples of application, etc.
  • the description text of the plot content and the description text of the visual transformation of each plot node can be generated simultaneously using the text generation model.
  • the description text of the plot content and the description text of the visual transformation can be in the same text and are not completely separated.
  • the description text of the visual transformation can be interspersed with the description text of the plot content.
  • the information of visual transformation between different pictures may specifically include visual effect information of each picture.
  • the visual transformation includes the movement of the lens
  • the information for determining the visual transformation between different pictures in each plot node based on the description information and the target genre includes: determining whether to use different types of lens effects in different pictures in each plot node based on the description information and the target genre; for the plot nodes that are determined to use different types of lens effects, determining the target lens effect used in each picture in the plot node and the target object corresponding to the target lens effect based on the description information, as the information on the movement of the lens between different pictures in the plot node.
  • Lens effects can be divided into close-up, full-view, medium-view, and long-view according to different visual distances, and can be divided into push, pull, shake, rise, and fall according to different lens movement methods.
  • the target lens effect used in the picture can be independent, for example, the target lens effect is a close-up; the target lens effect used in the picture can also be associated with other pictures, for example, a target lens effect of gradually raising the lens is used in multiple consecutive pictures.
  • the target object corresponding to the target lens effect can be a specific person, a specific object, or a full view, etc.
  • determining the target lens effect used in each picture of the plot node and the target object corresponding to the target lens effect includes: generating the plot information of each plot node or the description text of the plot content of each plot node according to the description information, and for the plot nodes using different types of lens effects, determining the target lens effect used in each picture of the plot node and the target object corresponding to the target lens effect according to the plot information of the plot node or the description text of the plot content of the plot node.
  • the plot information of each plot node or the description text of the plot content of each plot node includes the plot expanded by using the text generation model according to the description information.
  • the target lens effect and the target object determined according to the plot information of each plot node or the description text of the plot content of each plot node are more accurate, and the effect is richer.
  • the description information input by the user also includes description information of the character's posture.
  • the description information of the character's posture may be relatively simple, and a richer description text can be generated through the generative model.
  • the background may not need to be switched at each plot node (plot or chapter), while for interactive TV series or interactive movies, the background switching is more frequent.
  • the background may need to be switched at some plot nodes, but not at other plot nodes.
  • the target background used in the picture can be independent or associated with other pictures.
  • the background is continuously changed according to the movement of the characters in multiple consecutive pictures.
  • determining the target background used in each screen of the plot node includes: generating the plot information of each plot node or the description text of the plot content of each plot node according to the description information, and for the plot node that switches the background, determining the target background in each screen of the plot node according to the plot information of the plot node or the description text of the plot content of the plot node.
  • the plot information of each plot node or the description text of the plot content of each plot node includes the plot expanded by using the text generation model according to the description information. Since the plot affects the background, the target background determined according to the plot information of each plot node or the description text of the plot content of each plot node is more accurate and has a richer effect.
  • the description information input by the user also includes the description information of the background switching.
  • the description information of the background switching may be relatively simple, and a richer description text can be generated through the generative model.
  • a text generation model is used to generate a description text of the visual transformation of each plot node based on the description information and the prompt information of the visual transformation.
  • the prompt information of the visual transformation is used to assist in generating the description text of the visual transformation of each plot node.
  • the prompt information of the visual transformation includes prompt information related to the target genre, etc. For example, for interactive movies or interactive TV series, close-up shots are more often used when characters have long dialogues.
  • corresponding description texts can be generated for different types of visual transformations according to the description information and the target genre, so that the generated interactive multimedia content can match the target genre more accurately and improve the generation efficiency of the interactive multimedia content.
  • step S308 interactive multimedia content is generated according to the content text.
  • Interactive multimedia content can be generated based on content text using a Vincent graph and/or Vincent video model.
  • the generated interactive multimedia media may include: complete interactive multimedia content, multimedia content of each plot node, multimedia content of each interactive operation node, multimedia content of each character, multimedia content of each scene, etc.
  • Complete interactive multimedia content can be generated based on the multimedia content of each plot node, multimedia content of each interactive operation node, multimedia content of each character, multimedia content of each scene, and logical relationships between various nodes in the plot node and the interactive operation node, and transition effects can be added between different nodes.
  • multimedia content for each plot node is generated based on descriptive text of the plot content of each plot node and descriptive text of the visual transformation corresponding to each plot node, wherein the multimedia content for each plot node presents a visual effect corresponding to the descriptive text of the visual transformation corresponding to the plot node.
  • the description text of the plot content and the description text of the visual transformation can be whole paragraphs of text interspersed together, described in natural language, and can be directly used to generate multimedia content.
  • the description text of the visual transformation corresponding to each plot node includes each plot node
  • each picture of each plot node is generated according to the description text of the plot content of each plot node and the target lens effect used in each picture of each plot node and the target object corresponding to the target lens effect, wherein the target object in each picture is displayed using the corresponding target lens effect.
  • each screen of each plot node is generated based on the description text of the plot content of each plot node and the target posture of each of the one or more characters in each screen of each plot node, wherein each character in each screen is displayed using the corresponding target posture.
  • each screen of each plot node is generated according to the description text of the plot content of each plot node and the target background of each screen in each plot node, wherein the background of each screen is the corresponding target background.
  • each frame (image) may be generated to form a video, or a video may be directly generated to include multiple frames.
  • multimedia content of each interactive operation node is generated according to the description text of each interactive operation node.
  • the interactive operation node can be used as a special plot node, and can also include corresponding visual transformations.
  • the method for generating multimedia content of the interactive operation node can refer to the method for generating multimedia content of the plot node, which will not be repeated here.
  • the description text of the characters, the description text of the scenes, and the description text of the screen style are also used. These description texts can be generated based on the description information input by the user.
  • the description text of the characters can be used to generate character portraits, sound audio, etc.
  • the description text of the scenes and the description text of the screen style can be used to generate the background, the scenery in the screen, etc. and to determine the style of the entire interactive multimedia content.
  • At least one of a standing picture and a sound audio of each character is generated based on the description text of each character.
  • the standing picture of a character can be an image that reflects the overall image of the character.
  • the standing pictures of characters include: front static standing pictures of characters, standing pictures of characters in various different postures, animated pictures or videos with added actions (such as opening and closing of the mouth, swinging of skirts or hair, etc.). For interactive movies/interactive TV series, the background scenes and the characters therein do not have fixed postures and screen layouts.
  • Interactive multimedia content may also include background music, such as music to add to the atmosphere, music for character appearances, and special effects music.
  • the description information is parsed using a text generation model to generate a description text of the background music corresponding to each plot node.
  • the description text of the background music may include music style, duration, etc.
  • the background music for each plot node pair is generated according to the description text of the background music corresponding to each plot node.
  • the background music can be directly generated by using a generative model, or the background music that matches the description text of the background music can be selected from a database.
  • the content text may include a combination of various types of description texts in the aforementioned embodiments, and the interactive multimedia content may be directly generated according to the content text.
  • FIG6 shows a picture in a generated interactive movie, which includes characters, background, and interactive operation options that can be interacted by viewing users.
  • the picture can be a close-up shot and can be accompanied by background music with a tense atmosphere.
  • step S310 interactive multimedia content and content text are displayed.
  • Multiple plot nodes can be distinguished, and the content text of each plot node can be associated with the corresponding interactive multimedia content for display.
  • the plot description text of each plot node, the description text of the visual transformation between different pictures in each plot node, and the multimedia content of each plot node are displayed in association.
  • the description text of each character and at least one of the character's portrait and audio are displayed in association; the description text of each interactive operation node and the multimedia content of each interactive operation node are displayed in association.
  • the description text of the character, the character's portrait, the sound and audio, etc. can be displayed separately.
  • the description text and multimedia content of each plot node or each interactive operation node can be displayed separately or in association with the flowchart of FIG. 4 .
  • the content text is associated with the interactive multimedia content for display, so that the user can make adjustments. If the user is not satisfied with the generated content text or the interactive multimedia content, the interactive multimedia content can be regenerated by adjusting the content text.
  • FIG. 7 it is a preview interface.
  • the content text 703 of the plot node can be displayed, and the content text of the plot node includes a description text of the plot content, a description text of the visual effect, etc.
  • multimedia content can be displayed, and the multimedia content includes a scene image 704, a character image 705, background music 706, and can also include corresponding videos, etc.
  • the logical relationship between each plot node can also be displayed.
  • a user's description of the visual transformation corresponding to the plot node is received.
  • the method comprises adjusting the description text of the visual transformation corresponding to the adjusted plot node, generating the multimedia content of the plot node according to the description text of the visual transformation corresponding to the adjusted plot node; and displaying the description text of the visual transformation corresponding to the adjusted plot node and the multimedia content of the adjusted plot node.
  • the disclosed method can generate interactive multimedia content of different genres based on the description information of the user (author).
  • the user can input the story background, character settings, basic summary, etc.
  • the generative model can expand the complete script based on the description information, and generate the pictures and characters under the corresponding content to generate the scenes and characters corresponding to each plot node in the script.
  • Scene background pictures, character standing pictures, character postures, background music, etc. can all be generated based on the description information input by the user, and multiple options can be generated for the user to choose when generating.
  • the method disclosed in the present invention can improve the generation efficiency and diversity of interactive multimedia content.
  • the present disclosure also provides a device for generating interactive multimedia content, which is described below in conjunction with FIG. 8 .
  • FIG8 is a structural diagram of some embodiments of the interactive multimedia content generation device disclosed in the present invention. As shown in FIG8 , the device of this embodiment includes: a receiving module 810 , a content generation module 820 , a multimedia generation module 830 , and a display module 840 .
  • the display module 840 is configured to display the interactive multimedia content and the content text, wherein the interactive multimedia content presents a visual transformation effect corresponding to the description text of the visual transformation.
  • the interactive multimedia content generating device 80 further includes a genre determining module 850 configured to parse the description information and determine the genre corresponding to the description information as the target genre; or a receiving module 810 is further configured to receive a user selection operation on one or more genres among the multiple genres, and the genre determination module 850 is configured to determine the one or more genres as target genres.
  • the visual transformation includes switching of the background.
  • the content generation module 820 is configured to determine whether to switch the background in each plot node according to the description information and the target genre; for the plot node for determining the switching background, determine the target background of each screen in the plot node according to the description information as the switching information of the background between different screens in each plot node.
  • the multimedia generation module 830 is configured to generate multimedia content for each plot node based on the description text of the plot content of each plot node and the description text of the visual transformation corresponding to each plot node, wherein the multimedia content of each plot node presents a visual effect corresponding to the description text of the visual transformation corresponding to the plot node.
  • the description text of the visual transformation corresponding to each plot node includes the target lens effect used in each picture in each plot node and the target object corresponding to the target lens effect.
  • the multimedia generation module 830 is configured to generate each picture of each plot node based on the description text of the plot content of each plot node and the target lens effect used in each picture in each plot node and the target object corresponding to the target lens effect, wherein the target object in each picture is displayed using the corresponding target lens effect.
  • the description text of the visual transformation corresponding to each plot node includes the target posture of each of the one or more characters in each screen of each plot node
  • the multimedia generation module 830 is configured to generate each screen of each plot node based on the description text of the plot content of each plot node and the target posture of each of the one or more characters in each screen of each plot node, wherein each character in each screen is displayed using the corresponding target posture.
  • the description text of the visual transformation corresponding to each plot node includes the target background of each screen in each plot node
  • the multimedia generation module 830 is configured to generate each screen of each plot node based on the description text of the plot content of each plot node and the target background of each screen in each plot node, wherein the background of each screen is the corresponding target background.
  • the display module 840 is configured to display the plot description text of each plot node, the description text of the visual transformation between different pictures in each plot node, and the multimedia content of each plot node in an associated manner.
  • the receiving module 810 is further configured to receive a user's adjustment of the description text of the visual transformation corresponding to the plot node; the multimedia generation module 830 is further configured to generate multimedia content of the plot node based on the adjusted description text of the visual transformation corresponding to the plot node; and the display module 840 is further configured to display the adjusted description text of the visual transformation corresponding to the plot node and the adjusted multimedia content of the plot node.
  • the content text also includes description text for each of one or more characters and description text for each interactive operation node in one or more interactive operation nodes.
  • the content generation module 820 is configured to use a text generation model to parse the description information to generate description text for each character; use a text generation model to parse the description information to generate description text for each interactive operation node, wherein the description text of each interactive operation node includes description text for the interactive operation options displayed to the operating user.
  • the description text of each character includes descriptive information of at least one of the image and sound characteristics of each character
  • the content generation module 820 is configured to generate at least one of the standing picture and sound audio of each character based on the description text of each character; and generate multimedia content for each interactive operation node based on the description text of each interactive operation node.
  • the display module 840 is configured to display the description text of each character in association with at least one of the portrait and audio of each character; and to display the description text of each interactive operation node in association with the multimedia content of each interactive operation node.
  • the content text also includes the background information corresponding to each of the one or more plot nodes.
  • the content generation module 820 is configured to parse the description information using a text generation model to generate a description text of the background music corresponding to each plot node.
  • the multimedia generation module 830 is configured to generate background music for each plot node pair according to the description text of the background music corresponding to each plot node.
  • the description information includes at least one of plot summary information and plot information of each of the one or more plot nodes.
  • the description information also includes at least one of: a logical relationship between various plot nodes, character setting information, scene setting information, and picture style setting information.
  • the target genre includes at least one of: a game, an interactive TV series, and an interactive movie.
  • the above-mentioned units are only logical modules divided according to the specific functions implemented by them, and are not used to limit the specific implementation methods. For example, they can be implemented in software, hardware, or a combination of software and hardware. In actual implementation, the above-mentioned units can be implemented as independent physical entities, or can also be implemented by a single entity (for example, a processor (CPU or DSP, etc.), an integrated circuit, etc.). In addition, the above-mentioned units are shown with dotted lines in the drawings to indicate that these units may not actually exist, and the operations/functions implemented by them can be implemented by the processing circuit itself.
  • the device may also include a memory, which may store various information generated by the device, various units contained in the device during operation, programs and data for operation, data to be sent by the communication unit, etc.
  • the memory may be a volatile memory and/or a non-volatile memory.
  • the memory may include, but is not limited to, a random access memory (RAM), a dynamic random access memory (DRAM), a static random access memory (SRAM), a read-only memory (ROM), and a flash memory.
  • the memory may also be located outside the device.
  • the device may also include a communication unit, which may be used to communicate with other devices.
  • the communication unit may be implemented in a suitable manner known in the art, such as including communication components such as an antenna array and/or a radio frequency link, various types of interfaces, communication units, etc. It will not be described in detail here.
  • the device may also include other components not shown, such as a radio frequency link, a baseband processing unit, a network interface, a processor, a controller, etc. It will not be described in detail here.
  • FIG9 shows a block diagram of some embodiments of the electronic device of the present disclosure.
  • the electronic device 9 can be various types of devices, for example, including but not limited to mobile terminals such as mobile phones, laptop computers, digital broadcast receivers, PDAs (personal digital assistants), PADs (tablet computers), PMPs (portable multimedia players), vehicle-mounted terminals (such as vehicle-mounted navigation terminals), etc., and fixed terminals such as digital TVs, desktop computers, etc.
  • the electronic device 9 may include The display panel is used to display the data and/or execution results used in the solution of the present disclosure.
  • the display panel can be in various shapes, such as a rectangular panel, an elliptical panel, or a polygonal panel.
  • the display panel can be not only a flat panel, but also a curved panel or even a spherical panel.
  • the electronic device 9 of this embodiment includes: a memory 91 and a processor 92 coupled to the memory 91. It should be noted that the components of the electronic device 9 shown in FIG9 are only exemplary and non-restrictive. According to actual application requirements, the electronic device 9 may also have other components. The processor 92 may control other components in the electronic device 9 to perform desired functions.
  • the memory 91 is used to store one or more computer-readable instructions.
  • the processor 92 is used to execute the computer-readable instructions, the computer-readable instructions are executed by the processor 92 to implement the method according to any of the above embodiments.
  • the specific implementation of each step of the method and the related explanation content please refer to the above embodiments, and the repeated parts will not be repeated here.
  • the processor 92 and the memory 91 may communicate with each other directly or indirectly.
  • the processor 92 and the memory 91 may communicate with each other through a network.
  • the network may include a wireless network, a wired network, and/or any combination of a wireless network and a wired network.
  • the processor 92 and the memory 91 may also communicate with each other through a system bus, which is not limited by the present disclosure.
  • the processor 92 may be embodied as various appropriate processors, processing devices, etc., such as a central processing unit (CPU), a graphics processing unit (GPU), a network processor (NP), etc.; it may also be a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • the central processing unit (CPU) may be an X86 or ARM architecture, etc.
  • the memory 91 may include any combination of various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the memory 91 may include, for example, a system memory, which may store, for example, an operating system, an application, a boot loader (Boot Loader), a database, and other programs. Various applications and various data may also be stored in the storage medium.
  • a system memory which may store, for example, an operating system, an application, a boot loader (Boot Loader), a database, and other programs.
  • Various applications and various data may also be stored in the storage medium.
  • FIG. 10 is a block diagram showing an example structure of a computer system that can be used in an embodiment of the present disclosure.
  • a central processing unit (CPU) 1001 executes various processes according to a program stored in a read only memory (ROM) 1002 or a program loaded from a storage section 1008 to a random access memory (RAM) 1003 .
  • ROM read only memory
  • RAM random access memory
  • data required when CPU 1001 performs various processing, etc. are also stored as needed.
  • the central processing unit is merely exemplary, and it may also be other types of processors, such as the various processors described above.
  • ROM 1002, RAM 1003, and storage portion 1008 may be various forms of computer-readable storage media, as described below. It should be noted that, although ROM 1002, RAM 1003, and storage device 1008 are shown separately in FIG. 10, one or more of them may be combined or located in the same or different memory or storage modules.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are connected to each other via a bus 1004.
  • An input/output interface 1005 is also connected to the bus 1004.
  • an input portion 1006 such as a touch screen, a touch pad, a keyboard, a mouse, an image sensor, a microphone, an accelerometer, a gyroscope, etc.
  • an output portion 1007 including a display, such as a cathode ray tube (CRT), a liquid crystal display (LCD), a speaker, a vibrator, etc.
  • a storage portion 1008 including a hard disk, a magnetic tape, etc.
  • a communication portion 1009 including a network interface card such as a LAN card, a modem, etc.
  • the communication portion 1009 allows communication processing to be performed via a network such as the Internet.
  • the various devices or modules in the computer system 1000 are shown in FIG. 10 to communicate through the bus 1004, they can also communicate through a network or other means, wherein the network can include a wireless network, a wired network, and/or any combination of a wireless network and a wired network.
  • a drive 1010 is also connected to the input/output interface 1005 as needed.
  • a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, etc. is mounted on the drive 1010 as needed so that a computer program read therefrom is installed into the storage section 1008 as needed.
  • a program constituting the software can be installed from a network such as the Internet or a storage medium such as the removable medium 1011 .
  • an embodiment of the present disclosure includes a computer program product, which includes a computer program carried on a computer-readable medium, and the computer program contains program code for executing the method shown in the flowchart.
  • the computer program can be downloaded and installed from the network through the communication device part 1009, or installed from the storage part 1008, or installed from the ROM 1002.
  • the computer program is executed by the CPU 1001, the above-mentioned functions defined in the method of the embodiment of the present disclosure are executed.
  • a computer-readable medium may be a tangible medium that may contain or store a program for use by an instruction execution system, device or apparatus or used in conjunction with an instruction execution system, device or apparatus.
  • a computer-readable medium may be a computer-readable signal medium or a computer-readable storage medium or any combination of the two.
  • a computer-readable storage medium may be, for example, but not limited to: an electrical, magnetic, Optical, electromagnetic, infrared, or semiconductor systems, devices or devices, or any combination of the above.
  • Computer-readable storage media may include, but are not limited to: an electrical connection with one or more wires, a portable computer disk, a hard disk, a random access memory (RAM), a read-only memory (ROM), an erasable programmable read-only memory (EPROM or flash memory), an optical fiber, a portable compact disk read-only memory (CD-ROM), an optical storage device, a magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium containing or storing a program that can be used by or in combination with an instruction execution system, device or device.
  • a computer-readable signal medium may include a data signal propagated in a baseband or as part of a carrier wave, in which a computer-readable program code is carried. Such propagated data signals may take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the above.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, which may send, propagate or transmit a program used by or in combination with an instruction execution system, device or device.
  • the program code embodied on the computer readable medium may be transmitted using any appropriate medium, including but not limited to: wire, optical cable, RF (radio frequency), etc., or any suitable combination of the foregoing.
  • the computer-readable medium may be included in the electronic device, or may exist independently without being incorporated into the electronic device.
  • a computer program comprising: instructions, which, when executed by a processor, cause the processor to execute any of the methods of the above embodiments.
  • the instructions may be embodied as computer program codes.
  • computer program codes for performing the operations of the present disclosure may be written in one or more programming languages or combinations thereof, including but not limited to object-oriented programming languages, such as Java, Smalltalk, C++, and conventional procedural programming languages, such as "C" language or similar programming languages.
  • the program code may be executed entirely on a user's computer, partially on a user's computer, as an independent software package, partially on a user's computer, partially on a remote computer, or entirely on a remote computer or server.
  • the remote computer may be connected to the user's computer via any type of network (including a local area network (LAN) or a wide area network (WAN)), or may be connected to an external computer (e.g., using an Internet service provider to connect via the Internet).
  • LAN local area network
  • WAN wide area network
  • each box in the flowchart or block diagram may represent a module, a program segment, or a portion of code, which contains one or more executable instructions for implementing the specified logical functions.
  • the functions marked in the boxes may also occur in an order different from that marked in the accompanying drawings. For example, two The blocks shown in succession may actually be executed substantially in parallel, and they may sometimes be executed in reverse order, depending on the functions involved.
  • each block in the block diagram and/or flow chart, and the combination of blocks in the block diagram and/or flow chart may be implemented by a dedicated hardware-based system that performs the specified functions or operations, or may be implemented by a combination of dedicated hardware and computer instructions.
  • modules, components or units involved in the embodiments described in the present disclosure may be implemented by software or hardware, wherein the names of the modules, components or units do not, in some cases, limit the modules, components or units themselves.
  • exemplary hardware logic components include: field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSPs), systems on chip (SOCs), complex programmable logic devices (CPLDs), and the like.
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • ASSPs application specific standard products
  • SOCs systems on chip
  • CPLDs complex programmable logic devices
  • a method for generating interactive multimedia content comprising: receiving description information input by a user; generating content text according to the description information and a target genre, wherein the content text comprises description text of the plot content and description text of a visual transformation corresponding to the target genre; generating interactive multimedia content according to the content text; and displaying the interactive multimedia content and the content text, wherein the interactive multimedia content presents a visual transformation effect corresponding to the description text of the visual transformation.
  • the generation method further includes: parsing the description information, determining the genre corresponding to the description information as the target genre; or receiving a user selection operation on one or more genres among multiple genres, and determining the one or more genres as the target genre.
  • the description text of the plot content includes the description text of the plot content of each plot node in one or more plot nodes
  • the description text of the visual transformation includes the description text of the visual transformation corresponding to each plot node
  • generating the content text according to the description information and the target genre includes: using a text generation model to parse the description information to generate the description text of the plot content of each plot node; using the text generation model to determine the information of the visual transformation between different pictures in each plot node according to the description information and the target genre, and generating the description text of the visual transformation corresponding to each plot node.
  • the visual transformation includes the movement of the lens
  • the information of determining the visual transformation between different pictures in each plot node according to the description information and the target genre includes: determining whether to use different types of lens effects in different pictures in each plot node according to the description information and the target genre; for the plot nodes that determine to use different types of lens effects, determining the target lens effect used in each picture in the plot node and the target object corresponding to the target lens effect according to the description information, as the movement of the lens between different pictures in the plot node; Transfer information.
  • the description text of the visual transformation corresponding to each plot node includes the target lens effect used in each picture in each plot node and the target object corresponding to the target lens effect.
  • Generating the multimedia content of each plot node based on the description text of the plot content of each plot node and the description text of the visual transformation corresponding to each plot node includes: generating each picture of each plot node based on the description text of the plot content of each plot node and the target lens effect used in each picture in each plot node and the target object corresponding to the target lens effect, wherein the target object in each picture is displayed using the corresponding target lens effect.
  • the description text of the visual transformation corresponding to each plot node includes the target posture of each of the one or more characters in each screen of each plot node.
  • Generating the multimedia content of each plot node based on the description text of the plot content of each plot node and the description text of the visual transformation corresponding to each plot node includes: generating each screen of each plot node based on the description text of the plot content of each plot node and the target posture of each of the one or more characters in each screen of each plot node, wherein each character in each screen is displayed using the corresponding target posture.
  • generating interactive multimedia content according to the content text includes: generating background music for each plot node pair according to the description text of the background music corresponding to each plot node.
  • the description information includes at least one of plot summary information and plot information of each of the one or more plot nodes.
  • an electronic device including: a memory; and a processor coupled to the memory, wherein the processor is configured to execute the method for generating interactive multimedia content of any of the aforementioned embodiments based on instructions stored in the memory.
  • a computer program comprising: instructions, which, when executed by a processor, cause the processor to execute the method for generating interactive multimedia content of any embodiment of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种互动多媒体内容的生成方法、装置、电子设备和存储介质，涉及计算机技术领域。本公开的方法包括：接收用户输入的描述信息；根据所述描述信息和目标体裁，生成内容文本，其中，所述内容文本包括剧情内容的描述文本以及所述目标体裁对应的视觉变换的描述文本；根据所述内容文本，生成互动多媒体内容；显示所述互动多媒体内容以及所述内容文本，其中，所述互动多媒体内容呈现与所述视觉变换的描述文本对应的视觉变换效果。

Description

互动多媒体内容的生成方法、装置、电子设备和存储介质
相关申请的交叉引用
本申请是以CN申请号为202311597109.3，申请日为2023年11月27日的申请为基础，并主张其优先权，该CN申请的公开内容在此作为整体引入本申请中。
技术领域
本公开涉及计算机技术领域，特别涉及一种互动多媒体内容的生成方法、装置、电子设备和存储介质。
背景技术
互动多媒体内容是一种集成了图像、声音、文字等多种元素、并且能够为其观看者(或称为使用者)提供交互接口的内容，例如，游戏、互动电影、互动电视剧等。
互动多媒体内容一般由专业的设计和开发人员进行制作，需要经过剧情的创作、美术人员绘制、开发人员的编写代码或组织演员拍摄、后期处理等一系列的过程才能完成，并且不同体裁的互动多媒体内容的制作过程所需的专业人员和制作流程是不同。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
根据本公开的一些实施例，提供了一种互动多媒体内容的生成方法，包括：接收用户输入的描述信息；根据所述描述信息和目标体裁，生成内容文本，其中，所述内容文本包括剧情内容的描述文本以及所述目标体裁对应的视觉变换的描述文本；根据所述内容文本，生成互动多媒体内容；显示所述互动多媒体内容以及所述内容文本，其中，所述互动多媒体内容呈现与所述视觉变换的描述文本对应的视觉变换效果。
根据本公开的另一些实施例，提供了一种互动多媒体内容的生成方装置，包括：接收模块，被配置为接收用户输入的描述信息；内容生成模块，被配置为根据所述描述信息和目标体裁，生成内容文本，其中，所述内容文本包括剧情内容的描述文本以及所述目标体裁对应的视觉变换的描述文本；多媒体生成模块，被配置为根据所述内容文本，生成互动多媒体内容；显示模块，被配置为显示所述互动多媒体内容以及所 述内容文本，其中，所述互动多媒体内容呈现与所述视觉变换的描述文本对应的视觉变换效果。
根据本公开的一些实施例，提供一种电子设备，包括：存储器；和耦接至存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行本公开中任一实施例的互动多媒体内容的生成方法。
根据本公开的一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行本公开中任一实施例的互动多媒体内容的生成方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。
附图说明
下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。在附图中：
图1示出本公开的一些实施例的互动多媒体内容的生成方法的流程示意图；
图2示出本公开的一些实施例的创作界面的示意图；
图3示出本公开的另一些实施例的互动多媒体内容的生成方法的流程示意图；
图4示出本公开的另一些实施例的创作界面的示意图；
图5示出本公开的又一些实施例的创作界面的示意图；
图6示出本公开的一些实施例的互动多媒体内容的画面的示意图；
图7示出本公开的再一些实施例的创作界面的示意图；
图8示出本公开的一些实施例的互动多媒体内容的生成装置的结构示意图；
图9示出本公开的一些实施例的电子设备的结构示意图；
图10示出本公开的一些实施例的计算机系统的结构示意图。
应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。
本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。因此，包括与包含是同义的。术语“基于”意指“至少部分地基于”。
整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。下面这些具体实施例可以相互结合，对于相同或者相似的概念或过程可能在某些实施例不再赘述。此外，在一个或多个实施例中，特定的特征、结构或特性可以由本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
目前，互动多媒体内容属于专业生产内容(Professional Generated Content，简称：PGC)，其生成过程具有较高的门槛，并且通常涉及多个领域的专业人员的合作。互动多媒体内容难以以用户生成内容(User Generated Content，简称：UGC)的方式进行制作，其生成效率比较低。由于不同体裁的互动多媒体内容的表现形式不同，更加难以高效的以用户生成内容的方式，制作不同体裁的互动多媒体内容。
为了提高不同体裁的互动多媒体内容的生成效率，本公开提出一种互动多媒体内容的生成方法、装置、电子设备和存储介质。下面结合图1～7描述本公开的互动多媒体内容的生成方法。
图1为本公开互动多媒体内容的生成方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S108。
在步骤S102中，接收用户输入的描述信息。
例如，显示互动多媒体内容的创作界面，在创作界面中显示输入区域，接收用户输入的描述信息。描述信息可以包括文本、语音、图片中至少一项。在描述信息为语音的情况下，可以进行语音识别将语音转换为文本。在描述信息为图片的情况下，可以进行图像识别，将图片转换为文本。
用户输入的描述信息包括可以用于描述待生成的互动多媒体内容的关键信息。例如，描述信息可以包括剧情的描述信息、人物(或角色)的描述信息、场景的描述信息、配乐的描述信息中至少一项。不同类型的描述信息可以通过不同的界面输入。例如，描述信息可以描述待生成的互动多媒体内容的故事背景，主角和相关的角色，故事大概的脉络和情节以及最后的结局等。
在步骤S104中，根据描述信息和目标体裁，生成内容文本。
目标体裁(或目标媒体类型)即最后生成的互动多媒体内容的体裁(或媒体类型)。在一些实施例中，目标体裁包括：游戏、互动电视剧、互动电影中至少一项，不限于所举示例。
例如，采用生成式模型根据描述信息和目标体裁，生成内容文本。生成式模型用于基于输入的信息，输出目标内容。输入的信息包括生成式模型在生成过程中的处理 依据，例如参考哪些信息执行生成过程、输出的目标内容的要求等等。生成式模型例如包括基于文本进行生成的模型、或基于图像进行生成的模型，生成式模型的输出可以包括文本、图像或二者的结合。当然，生成式模型的输入或输出也可以是其他模态的数据，如音频、视频或者多种类型的数据的结合。生成式模型可以为单一模态的模型，例如基于文本生成文本的模型(简称“文生文模型”)、基于图像生成图像的模型(简称“图生图模型”)；或者，生成式模型也可以是跨模态的模型，即输入和输出属于不同模态的模型，例如基于文本生成图像的模型(简称“文生图模型”)；再或者，生成式模型的输入可以包括多个模态，输出也可以包括多个模态。
内容文本用于描述待生成的互动多媒体内容的剧情、呈现形式等。在一些实施例中，内容文本包括剧情内容的描述文本、目标体裁对应的视觉变换的描述文本中至少一项。
例如，剧情内容的描述文本包括基于用户输入的描述信息中剧情的描述信息采用生成式模型扩写后的剧情信息，相对于用户输入的描述信息，故事内容更加的丰富，细节更多，更加接近真实的剧本中的剧情信息。
在一些实施例中，视觉变换包括镜头的运转、背景的切换、人物姿态的变化中至少一项。例如，游戏的画面相对固定，人物姿态比较单一，镜头的运转也很少甚至没有，互动电视剧的叙事速度较慢，一个镜头持续的时间可能比较长，镜头的变换频率较低，样式也较少，同样人物姿态和背景持续的时间都比较长，互动电影的叙事速度较快，镜头的变换频率比较高，样式也比较多，人物和背景更加的动态。因此，可以针对不同的目标体裁生成不同的视觉变换的描述文本。
在步骤S106中，根据内容文本，生成互动多媒体内容。
例如，采用生成式模型根据内容文本，生成互动多媒体内容。这里的生成式模型可以是文生图模型或文生视频模型等。由于内容生成文本已经包括了剧情内容的描述文本和视觉变换的描述文本，基于这些文本可以生成对应的画面、人物、声音等并呈现出对应的视觉效果。
在步骤S108中，显示互动多媒体内容以及内容文本。
可以将互动多媒体内容和内容文本同时显示，例如在界面中不同区域分别显示，并且对应(或关联)显示。例如，基于互动多媒体内容显示的进度内容，文本可以滚动显示。也可以在不同界面中分别显示互动多媒体内容和内容文本。例如，首先显示互动多媒体内容，响应于对内容文本的显示的触发操作，在浮层或新的窗口或新的页 面中显示内容文本。
在一些实施例中，互动多媒体内容可以被划分为一个或多个剧情节点的多媒体内容，内容文本包括每个剧情节点的内容文本。将每个剧情节点的多媒体内容和该剧情节点的内容文本关联显示。
步骤S104和S106可以在客户端实现，也可以在服务器端实现，在服务器端实现的情况下，客户端将描述信息发送至服务器端，并接收服务器端返回的内容文本和互动多媒体内容，进行显示。本公开中显示相关步骤都可以通过图形用户界面(Graphical User Interface，GUI)实现。
上述实施例的方法，基于用户输入的描述信息和目标体裁可以自动生成内容文本，并基于内容文本自动生成互动多媒体内容。针对目标体裁还可以生成与之匹配的视觉变换的描述文本，从而生成的互动多媒体内容呈现出与目标体裁对应的视觉变换效果。通过上述实施例的方法，用户只需要简单的输入描述信息，就可以生成扩写后的内容文本，并进一步生成不同体裁的互动多媒体内容，提高了互动多媒体内容的创作效率，节约了资源。普通用户也可以参与故事的创作和发展，以更好地与角色互动，创造属于自己的独特故事，提高了互动多媒体内容的创作的可行性，可以将更多的创意转换为互动多媒体产品。
在一些实施例中，对描述信息进行解析，确定描述信息对应的体裁(或媒体类型)，作为目标体裁；或者，接收用户对多个体裁中一个或多个体裁的选择操作，将一个或多个体裁确定为目标体裁。
例如，描述信息中可以包括用户希望创作的互动多媒体内容的体裁对应的关键词，例如，游戏、电影、电视剧等，可以对这些关键词进行识别确定目标体裁。又例如，不同体裁的描述信息的内容可能不同，游戏包含的互动情节更多，剧情更简单，互动电视剧的剧情更长，情节更多等。因此，可以利用机器学习模型对描述信息进行解析和理解，确定描述信息对应的体裁，作为目标体裁。机器学习模型可以是AI(Artificial Intelligence，人工智能)模型、大模型等。具体的可以是神经网络、深度学习模型、生成式模型等。
在对描述信息进行解析确定描述信息对应的体裁后，可以显示确定的体裁，响应于用户的确认操作，将确认的体裁作为目标体裁。
用户可以在客户端的应用(APP)或Web页面中进行操作，创作互动多媒体内容。例如，响应于应用的开启，显示首页，首页中可以设置创作控件和引导信息，引导信 息例如为“创作你的互动故事”，响应于创作控件的触发，进入创作界面。首页或创作界面中可以包括多个体裁的选择控件，用户可以对一个或多个体裁的选择操作，将一个或多个体裁确定为目标体裁。如果用户选择了多个体裁，可以分别生成多个互动多媒体内容。
在一些实施例中，描述信息可以包括剧情的描述信息、人物(或角色)的描述信息、场景的描述信息、配乐的描述信息中至少一项。
例如，剧情的描述信息包括：剧情概述信息以及一个或多个剧情节点中每个剧情节点的剧情信息中至少一项。剧情概述信息可以用于描述待生成的互动多媒体内容的故事内容，例如，剧情概述信息可以包括故事的全局背景、开端、经过、结局中至少一项的简要描述信息。故事的经过和结局可以有多种情况，可以分别描述。
创作界面可以区分不同的面板，例如，如图2所示，创作界面中包括故事面板、人物面板等。可以响应于用户对故事面板的触发操作，显示故事面板，在故事面板中可以输入剧情的描述信息。例如，可以在故事面板中显示故事内容的输入区域，接收用户输入的剧情概述信息，例如，故事内容的输入区域可以输入故事的全局背景和/或开端，还可以设置结局(或成功条件)的输入区，用于输入故事的结局(或成功条件)。
可以将待生成的互动多媒体内容的整体剧情划分为一个或多个剧情节点(也可以称为情节或章节)。在一些实施例中，可以根据剧情概述信息生成一个或多个剧情节点，以及每个剧情节点的剧情信息。可以采用文本生成模型对剧情概述信息进行拆分，生成每个剧情节点的剧情信息，进而根据每个剧情节点的剧情信息生成每个剧情节点的剧情内容的描述文本。即生成的剧情内容的描述文本包括一个或多个剧情节点中每个剧情节点的剧情内容的描述文本。
用户输入的剧情的描述信息也可以包括一个或多个剧情节点中每个剧情节点的剧情信息。故事面板中可以区分剧情节点(也可以称为情节或章节)分别接收用户的输入，每个剧情节点的剧情信息用于描述每个剧情节点的故事内容。每个剧情节点的故事内容可以包括该节点的背景、开端、经过、结局中至少一项的简要描述信息。
如图2所示，显示故事面板，并在故事面板中显示情节添加控件201，用于添加一个或多个剧情节点，通过每个剧情节点的输入区域接收用户输入的每个剧情节点的剧情信息。每个剧情节点的输入区域可以包括该剧情节点的故事内容描述区域202、该剧情节点的结局描述区域203，还可以包括发言角色选择区域204、音乐选择(上传)区域205、图片选择(上传)区域206中至少一项。不同区域中可以设置相对应 的引导信息，用于引导用户输入。用户选择或上传的音乐或图片，可以作为背景音乐或背景(场景)图片用于生成剧情节点对应的多媒体内容。如果描述信息中不包含这些具体的信息，则可以通过生成式模型自动生成。
下面结合图3描述本公开互动多媒体内容的生成方法的另一些实施例。
图3为本公开互动多媒体内容的生成方法另一些实施例的流程图。如图3所示，该实施例的方法包括：步骤S302～S310。
在步骤S302中，接收用户输入的描述信息。
在步骤S304中，采用文本生成模型对描述信息进行解析，生成一个或多个剧情节点中每个剧情节点的剧情内容的描述文本。
如果描述信息中只包括剧情概述信息，可以采用文本生成模型先根据剧情概述信息生成一个或多个剧情节点中每个剧情节点的剧情信息，再根据每个剧情节点的剧情信息，生成每个剧情节点的剧情内容的描述文本。
如果描述信息只包括每个剧情节点的剧情信息，可以采用文本生成模型根据每个剧情节点的剧情信息生成每个剧情节点的剧情内容的描述文本。
如果描述信息同时包括剧情概述信息和每个剧情节点的剧情信息，可以采用文本生成模型结合剧情概述信息和每个剧情节点的剧情信息，生成每个剧情节点的剧情内容的描述文本。
在一些实施例中，采用文本生成模型根据描述信息和目标体裁，生成每个剧情节点的剧情内容的描述文本。每个剧情节点的剧情内容的描述文本可以参考目标体裁进行不同程度的扩写，例如，在目标体裁为游戏的情况下，每个剧情节点的剧情内容的描述文本可以比较简单，在目标体裁为互动电视剧的情况下，每个剧情节点的剧情内容的描述文本会更加复杂。
在一些实施例中，采用文本生成模型，根据描述信息和剧情生成提示信息，生成每个剧情节点的剧情内容的描述文本。剧情生成提示信息用于辅助生成每个剧情节点的剧情内容的描述文本。例如，剧情生成提示信息包括与剧情类型和目标体裁相关的提示信息等，剧情类型可以是根据描述信息确定的。例如，探险类游戏的提示信息可以包括探险类剧情的示例，动作类游戏的提示信息可以包括角色打斗的示例。
在一些实施例中，在剧情的描述信息包括多个剧情节点的剧情信息的情况下，用户输入的描述信息包括剧情的描述信息还可以包括：多个剧情节点之间的逻辑关系。多个剧情节点之间的逻辑关系用于各个剧情节点的先后顺序、由一个剧情节点进入下 一个剧情节点的条件信息等。
交互操作节点可以作为一类特殊的剧情节点，包括在剧情的发展过程中，需要玩家(或观看用户或操作用户)进行互动的情节。不同的交互操作节点可以引导剧情走向不同的分支。在一些实施例中，描述信息还包括：交互操作节点的描述信息和/或剧情节点和交互操作节点之间的逻辑关系。
如果用户输入的描述信息不包括多个剧情节点之间的逻辑关系、交互操作节点的描述信息、剧情节点和交互操作节点之间的逻辑关系，这些信息可以由生成式模型根据用户输入的描述信息自动生成。最终生成互动多媒体内容时可以根据多个剧情节点之间的逻辑关系，剧情节点和交互操作节点之间的逻辑关系，将每个剧情节点的多媒体内容和每个交互操作节点的多媒体内容进行整合。
在一些实施例中，显示设置界面，接收用户对剧情节点和交互操作节点之间的逻辑关系的设置，显示设置后的剧情节点和交互操作节点之间的逻辑关系。
设置界面中可以显示根据用户输入的描述信息自动生成的初始设置信息，例如，初始设置信息包括各个剧情节点、各个交互操作节点以及剧情节点和交互操作节点之间的逻辑关系。用户可以对初始设置信息进行调整。用户也可以直接在设置界面中设置各个剧情节点，各个交互操作节点以及剧情节点和交互操作节点之间的逻辑关系。
如图4所示，故事设置界面中以流程图的形式显示，更加便于用户清楚准确的设置剧情节点和交互操作节点之间的逻辑关系，但不限于所举示例。流程图中包括多个剧情节点401以及多个交互操作节点402，节点之间的连线表示它们之间的逻辑关系。每个节点可以以节点(情节或章节)名称或简介显示。该流程图可以是通过生成式模型根据用户输入的描述信息自动生成的，用户可以进行调整或确认。该流程图也可以是根据用户输入的一个或多个剧情节点的剧情信息(例如，图2所示)和/或一个或多个交互操作节点的描述信息生成的。或者该流程图可以是由用户直接配置的。
如图4所示，交互操作节点用于配置可以供玩家(或观看用户或操作用户)交互的剧情，通过不同的交互操作节点可以走向不同的剧情分支。针对剧情节点或交互操作节点，不仅可以以流程图的形式显示，还可以响应于用户对每个剧情节点或交互操作节点的配置或选择，显示生成的任意剧情节点的剧情内容的描述文本和/或任意交互操作节点的描述文本，以及生成的任意剧情节点的多媒体内容和和/或任意交互操作节点的多媒体内容。
在一些实施例中，采用文本生成模型对描述信息进行解析，生成每个交互操作节 点的描述文本，其中，每个交互操作节点的描述文本包括对操作用户显示的交互操作选项的描述文本。
如图4所示，针对交互操作节点“岔路口”可以基于用户的配置或选择，显示该交互操作节点的内容界面403。内容界面可以以窗口或浮层等形式与节点对应显示。内容界面中可以包括该交互操作节点的描述文本。例如，在该交互操作节点的剧情中，宇航员们走到岔路口，宇航员x发言“这里看起来是一个岔路口，我们接下来该往哪个方向去？”等。进一步，还可以显示每个交互操作选项的描述文本，例如，A.探索高山，B.探索盆地…。这样可以使用户非常直观准确的看到每个节点对应的描述文本，并且可以进行调整。
每个交互操作节点的描述文本可以属于剧情内容的描述文本中的一部分。采用文本生成模型对描述信息进行解析，不仅可以生成每个剧情节点的剧情内容的描述文本，还可以生成每个交互操作节点的描述文本。
互动多媒体内容中人物(或角色)的设计是非常重要的部分，人物的发言或对白也是剧情的重要组成部分。例如，生成的剧情内容的描述文本中每个剧情节点的剧情内容的描述文本可以包括不同人物的发言，这些发言一方面需要基于剧情的发展确定，另一方面也要根据人物的特点、人物关系、形象等确定。
人物的描述文本可以由生成式模型根据描述信息生成。人物的描述文本可以包括名称、性格、身份、人物关系、说话风格、声音特点中至少一项，但不限于所举示例。在一些实施例中，用户输入的描述信息包括一个或多个人物的人物设定信息。每个人物的人物设定信息也可以包括名称、性格、身份、人物关系、说话风格、声音特点、形象中至少一项，但不限于所举示例。人物的设定信息相对于人物的描述文本更加简略，例如，采用文本生成模型对描述信息进行解析，生成每个人物的描述文本。
创作界面中可以包括人物面板，接收用户对人物面板的触发操作，显示人物面板，在人物面板中可以输入一个或多个人物的设定信息。如图5所示，显示人物面板，并在人物面板中显示角色添加控件501，用于添加一个或多个人物(或角色)，通过每个人物的输入区域接收用户输入的人物的设定信息。每个人物的输入区域可以包括该人物的名称设置区域502、该人物的基础设定区域503，还可以包括台词风格设置区域504、人物音乐设置区域505、人物头像设置区域506、人物立绘设置区域507中至少一项。不同区域中可以设置相对应的引导信息，用于引导用户输入。图5中每个人物的输入区域可以显示根据描述信息生成的初始描述文本，用户可以进行调整。
在一些实施例中，采用文本生成模型，根据描述信息和人物生成提示信息，生成每个人物的描述文本。人物生成提示信息可以与不同人物类型相对应，例如，人物生成提示信息包括不同类型人物的语言示例等。
用户输入的描述信息中还可以包括场景设定信息、画面风格设定信息中至少一项。这些也可以辅助生成剧情内容的描述文本。场景设定信息例如可以描述背景中景物等。画面风格设定信息例如为动漫风格、中国风等。
通过上述实施例的方法，基于用户输入的描述信息，可以自动生成剧情内容的描述文本，提高了互动多媒体内容的生成效率，降低了创作门槛，使普通用户可以自由的创造互动多媒体内容。
在步骤S306中，采用文本生成模型，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息，并生成每个剧情节点对应的视觉变换的描述文本。
在一些实施例中，描述信息包括视觉变换的描述信息和/或每个剧情节点对应的视觉变换的描述信息。例如，视觉变换的描述信息可以包括在角色说话或动作时采用近景镜头，在进入一个情节或章节的情况下，采用由远拉近的方式运转镜头，角色说话时配合肢体动作，背景随着时间的变化进行变化等概括性的描述信息。每个剧情节点对应的视觉变换描述信息可以更具体一些，例如，设置了一个剧情节点中说话的角色的情况下，结合剧情信息该剧情节点对应的视觉变换描述信息可以包括：角色边跑边说话，对角色进行特写，背景随着角色奔跑变化。
如果描述信息中包括视觉变换的描述信息和/或每个剧情节点对应的视觉变换的描述信息，可以采用文本生成模型根据描述信息和目标体裁进行扩展，确定每个剧情节点中不同画面之间的视觉变换的信息。
普通用户可能并不善于描述视觉变换的方式，因此，描述信息中不包括视觉变换的描述信息和/或每个剧情节点对应的视觉变换的描述信息的情况会比较多。可以采用文本生成模型直接根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息。
在一些实施例中，采用文本生成模型，根据描述信息、目标体裁和视觉变换提示信息，确定每个剧情节点中不同画面之间的视觉变换的信息，并生成每个剧情节点对应的视觉变换的描述文本。视觉变换提示信息用于辅助生成视觉变换的描述文本。例如，视觉变换提示信息包括与目标体裁对应的提示信息。例如，互动电影的一些镜头 运用的示例等。
每个剧情节点的剧情内容的描述文本和视觉变换的描述文本可以采用文本生成模型同时生成。剧情内容的描述文本和视觉变换的描述文本可以在同一个文本中，并不是完全割裂的。例如，在剧情内容的描述文本中穿插视觉变换的描述文本。
不同画面之间的视觉变换的信息具体可以包括每个画面的视觉效果信息。
在一些实施例中，视觉变换包括镜头的运转，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中不同画面中运用不同类型的镜头效果；针对确定运用不同类型的镜头效果的剧情节点，根据描述信息，确定该剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，作为该剧情节点中不同画面之间的镜头的运转的信息。
对于一些简单的游戏，可能每个剧情节点(情节或章节)中不需要变换镜头效果，对于互动电视剧或互动电影则需要变换镜头效果。或者，对于一些剧情节点需要变换镜头效果，对于另一些剧情节点不需要变换镜头效果。不需要镜头变换的剧情节点对应的镜头的运转的信息可以为保持镜头效果不变。
镜头效果根据视觉距离的不同可以分为近景、全景、中景、远景等，根据镜头的运动方式不同，可以分为推、拉、摇、升、降等。针对每个画面(或每帧图像)，该画面所运用的目标镜头效果可以是独立的，例如目标镜头效果是近景；该画面所运用的目标镜头效果也可以是与其他画面关联的，例如，在连续多个画面中采用逐渐升高镜头的目标镜头效果。目标镜头效果对应的目标对象可以是特定的人、特定的物或者全景等。
在一些实施例中，根据描述信息，确定该剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象包括：根据描述信息，生成每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本，针对运用不同类型的镜头效果的剧情节点，根据该剧情节点的剧情信息或该剧情节点的剧情内容的描述文本，确定该剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象。每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本包括根据描述信息采用文本生成模型进行扩写后的剧情。由于剧情会影响镜头效果，例如，人物说话时更多的会采用近景尽头。因此，根据每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本确定的目标镜头效果和目标对象更加准确，并且效果更加丰富。
在一些实施例中，视觉变换包括人物姿态的变化，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中变化人物的姿态；针对确定人物的姿态的剧情节点，根据描述信息，确定该剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，作为剧情节点中不同画面之间每个人物的姿态的变化信息。
人物(或角色)的姿态可以包括姿势、动作、表情中至少一项。对于一些简单的游戏，可能大部分剧情节点不需要变换人物的姿态或者人物姿态的变化很简单，而对于互动电视剧或互动电影，人物姿态的变化比较复杂。用户输入的描述信息中也可能包括人物的姿势、动作、表情等信息，如果不包括，可以采用生成式模型直接生成。因此，结合描述信息和目标体裁可以确定每个剧情节点中每个画面中的人物的目标姿态。
在一些实施例中，根据描述信息，生成每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本，针对变化人物的姿态的剧情节点，根据该剧情节点的剧情信息或该剧情节点的剧情内容的描述文本，确定该剧情节点中每个人物的目标姿态。每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本包括根据描述信息采用文本生成模型进行扩写后的剧情。由于剧情会影响人物的姿态，例如，人物完成一项任务时可以表现出成功的表情和动作。因此，根据每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本确定的目标姿态更加准确，并且效果更加丰富。
用户输入的描述信息中也包括人物姿态的描述信息，人物姿态的描述信息可能比较简单，通过生成式模型可以生成更加丰富的描述文本。
在一些实施例中，视觉变换包括背景的切换，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中切换背景；针对确定切换背景的剧情节点，根据描述信息，确定剧情节点中每个画面的目标背景，作为每个剧情节点中不同画面之间背景的切换信息。
对于一些简单的游戏，可能每个剧情节点(情节或章节)中不需要切换背景，对于互动电视剧或互动电影则背景的切换则更加频繁。或者，对于一些剧情节点需要切换背景，对于另一些剧情节点不需要切换背景。
针对每个画面(或每帧图像)，该画面所运用的目标背景可以是独立的，也可以是与其他画面关联的，例如，在连续多个画面中根据人物的运动不断地变换背景等。
在一些实施例中，根据描述信息，确定该剧情节点中每个画面中所运用的目标背景包括：根据描述信息，生成每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本，针对切换背景的剧情节点，根据该剧情节点的剧情信息或该剧情节点的剧情内容的描述文本，确定该剧情节点中每个画面中的目标背景。每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本包括根据描述信息采用文本生成模型进行扩写后的剧情。由于剧情会影响背景，因此，根据每个剧情节点的剧情信息或每个剧情节点的剧情内容的描述文本确定的目标背景更加准确，并且效果更加丰富。
用户输入的描述信息中也包括背景的切换的描述信息，背景的切换的描述信息可能比较简单，通过生成式模型可以生成更加丰富的描述文本。
在一些实施例中，采用文本生成模型，根据描述信息和视觉变换的提示信息，生成每个剧情节点的视觉变换的描述文本。视觉变换的提示信息用于辅助生成每个剧情节点的视觉变换的描述文本。例如，视觉变换的提示信息包括与目标体裁相关的提示信息等。例如，针对互动电影或互动电视剧，在人物有大段对白时更多的采用特写镜头。
通过上述实施例的方法，根据描述信息和目标体裁，针对不同类型的视觉变换可以生成响应的描述文本，使得生成的互动多媒体内容可以更加准确的与目标体裁相匹配，并且提高了互动多媒体内容的生成效率。
在步骤S308中，根据内容文本，生成互动多媒体内容。
可以采用文生图和/或文生视频模型，基于内容文本生成互动多媒体内容。生成的互动多媒体媒体可以包括：完整的互动多媒体内容、每个剧情节点的多媒体内容、每个交互操作节点的多媒体内容、每个人物的多媒体内容、每个场景的多媒体内容等。完整的互动多媒体内容可以根据每个剧情节点的多媒体内容、每个交互操作节点的多媒体内容、每个人物的多媒体内容、每个场景的多媒体内容以及剧情节点和交互操作节点中各个节点之间的逻辑关系生成，不同节点之间可以加入转场特效等。
在一些实施例中，根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容，其中，每个剧情节点的多媒体内容呈现与该剧情节点对应的视觉变换的描述文本相应的视觉效果。
剧情内容的描述文本和视觉变换的描述文本可以是穿插在一起的整段文本，以自然语言描述的，可以直接用于生成多媒体内容。
在一些实施例中，在每个剧情节点对应的视觉变换的描述文本包括每个剧情节点 中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象的情况下，根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，生成每个剧情节点的每个画面，其中，每个画面中的目标对象采用对应的目标镜头效果进行显示。
在一些实施例中，在每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态的情况下，根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，生成每个剧情节点的每个画面，其中，每个画面中的每个人物采用对应的目标姿态进行显示。
在一些实施例中，在每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面的目标背景的情况下，根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面的目标背景，生成每个剧情节点的每个画面，其中，每个画面的背景为对应的目标背景。
上述各个实施例可以任意结合，基于剧情内容的描述文本和视觉变换的描述文本，可以生成每个画面(图像)后形成视频，也可以直接生成视频包含多个画面。
在一些实施例中，根据每个交互操作节点的描述文本，生成每个交互操作节点的多媒体内容。交互操作节点可以作为一种特殊的剧情节点，也可以包含对应的视觉变换，生成交互操作节点的多媒体内容的方法，可以参考生成剧情节点的多媒体内容的方法，在此不再赘述。
在生成每个剧情节点的多媒体内容时，还会用到人物的描述文本、场景的描述文本、画面风格的描述文本，这些描述文本都可以根据用户输入的描述信息生成。人物的描述文本可以用于生成人物的立绘、声音音频等，场景的描述文本和画面风格的描述文本可以用于生成背景、画面中的景物等并用于确定整个互动多媒体内容的风格。
在一些实施例中，根据每个人物的描述文本，生成每个人物的立绘、声音音频中至少一项。人物的立绘可以是体现人物整体形象的图像。人物的立绘包括：正面静态人物立绘、多种不同人物姿态的立绘、添加动作(比如嘴巴的开合、裙摆或发丝的摆动等)的动图或视频等。针对互动电影/互动电视剧，背景场景以及其中的人物没有固定的姿态和画面布局。
互动多媒体内容还会包括背景音乐，例如，增加气氛的音乐、人物出场的音乐以及特效音乐等。
在一些实施例中，采用文本生成模型对描述信息进行解析，生成所每个剧情节点对应的背景音乐的描述文本。例如，背景音乐的描述文本可以包括音乐风格、时长等。
在一些实施例中，根据每个剧情节点对应的背景音乐的描述文本，生成每个剧情节点对的背景音乐。
可以采用生成式模型直接生成背景音乐，也可以从数据库中选取与背景音乐的描述文本相匹配的背景音乐。
在生成互动多媒体内容时，内容文本可以包括前述各个实施例中的各种类型的描述文本的组合，根据内容文本可以直接生成互动多媒体内容。
例如，图6所示为生成的互动电影中的一幅画面，画面中包括人物、背景以及可以由观看用户进行互动的交互操作选项。该画面可以采用近景镜头，并且可以配有紧张氛围的背景音乐等。
在步骤S310中，显示互动多媒体内容以及内容文本。
可以区分多个剧情节点，将每个剧情节点的内容文本与对应的互动多媒体内容进行关联显示。
在一些实施例中，将每个剧情节点的剧情描述文本、每个剧情节点中不同画面之间的视觉变换的描述文本和每个剧情节点的多媒体内容进行关联显示。
在一些实施例中，将每个人物的描述文本和每个人物的立绘、声音音频中至少一项进行关联显示；将每个交互操作节点的描述文本和每个交互操作节点的多媒体内容进行关联显示。
人物的描述文本和人物的立绘、声音音频等可以单独进行显示。每个剧情节点或每个交互操作节点的描述文本和多媒体内容，可以分别单独显示，也可以与图4的流程图关联显示。
将内容文本与互动多媒体内容关联显示，便于用户进行调整。如果用户对生成的内容文本或互动多媒体内容不满意，可以通过调整内容文本重新生成互动多媒体内容。
如图7所示，为预览界面，针对探索高山这一剧情节点701，在该剧情节点的内容界面702中，可以显示该剧情节点的内容文本703，该剧情节点的内容文本包括剧情内容的描述文本、视觉效果的描述文本等，同时可以显示多媒体内容，多媒体内容包括场景图像704、人物图像705、背景音乐706，还可以包括对应的视频等。如图7所示，还可以显示各个剧情节点之间的逻辑关系。
在一些实施例中，针对每个剧情节点，接收用户对剧情节点对应的视觉变换的描 述文本的调整；根据调整后的剧情节点对应的视觉变换的描述文本，生成剧情节点的多媒体内容；显示调整后的剧情节点对应的视觉变换的描述文本和调整后的剧情节点的多媒体内容。
还可以接收用户对剧情节点的剧情内容的描述文、交互操作节点的描述文本、人物的描述文本、场景的描述文本、画面风格的描述文本等进行调整，重新生成多媒体内容。
本公开的方法根据用户(作者)的描述信息可以生成不同体裁的互动多媒体内容。用户可以输入故事背景、人物设定、基本摘要等，生成式模型可以根据描述信息扩写出完整的剧本，并生成对应内容下的画面和人物，以生成剧本中每个剧情节点对应的场景和人物。场景背景图、人物立绘、人物姿态、背景音乐等都可以基于用户输入的描述信息生成，并且在生成时可以生成多个选项以供用户选择。
生成式模型能够通过用户输入的描述信息，判断当前背景以及当前场景中的人物，并且能根据文本内容判断当前镜头的运转等。互动多媒体内容中的人物由AI模型扮演，玩家(或观看用户或操作用户)可以与其进行交互，用户(作者)还可以设置玩家不同的选项对应的不同剧情分支，同时也支持玩家在游戏中进行互动时不仅依用户(作者)作者提供的选项，也能够自行输入内容与NPC(Non-Player Character，非玩家角色)进行交互。
本公开的方法可以提高互动多媒体内容的生成效率和多样性。
本公开还提供一种互动多媒体内容的生成装置，下面结合图8进行描述。
图8为本公开互动多媒体内容的生成装置一些实施例的结构图。如图8所示，该实施例的装置包括：接收模块810，内容生成模块820，多媒体生成模块830，显示模块840。
接收模块810被配置为接收用户输入的描述信息。
内容生成模块820被配置为根据描述信息和目标体裁，生成内容文本，其中，内容文本包括剧情内容的描述文本以及目标体裁对应的视觉变换的描述文本。
多媒体生成模块830被配置为根据内容文本，生成互动多媒体内容。
显示模块840被配置为显示互动多媒体内容以及内容文本，其中，互动多媒体内容呈现与视觉变换的描述文本对应的视觉变换效果。
在一些实施例中，互动多媒体内容的生成装置80还包括体裁确定模块850，被配置为对描述信息进行解析，确定描述信息对应的体裁，作为目标体裁；或者接收模块 810还被配置为接收用户对多个体裁中一个或多个体裁的选择操作，体裁确定模块850，被配置为将一个或多个体裁确定为目标体裁。
在一些实施例中，剧情内容的描述文本包括一个或多个剧情节点中每个剧情节点的剧情内容的描述文本，视觉变换的描述文本包括每个剧情节点对应的视觉变换的描述文本，内容生成模块820被配置为采用文本生成模型对描述信息进行解析，生成每个剧情节点的剧情内容的描述文本；采用文本生成模型，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息，并生成每个剧情节点对应的视觉变换的描述文本。
在一些实施例中，视觉变换包括镜头的运转，内容生成模块820被配置为根据描述信息和目标体裁，确定是否在每个剧情节点中不同画面中运用不同类型的镜头效果；针对确定运用不同类型的镜头效果的剧情节点，根据描述信息，确定剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，作为剧情节点中不同画面之间的镜头的运转的信息。
在一些实施例中，视觉变换包括人物姿态的变化，内容生成模块820被配置为根据描述信息和目标体裁，确定是否在每个剧情节点中变化人物的姿态；针对确定变化人物的姿态的剧情节点，根据描述信息，确定剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，作为剧情节点中不同画面之间每个人物的姿态的变化信息。
在一些实施例中，视觉变换包括背景的切换，内容生成模块820被配置为根据描述信息和目标体裁，确定是否在每个剧情节点中切换背景；针对确定切换背景的剧情节点，根据描述信息，确定剧情节点中每个画面的目标背景，作为每个剧情节点中不同画面之间背景的切换信息
在一些实施例中，多媒体生成模块830被配置为根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容，其中，每个剧情节点的多媒体内容呈现与该剧情节点对应的视觉变换的描述文本相应的视觉效果。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，多媒体生成模块830被配置为根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，生成每个剧情节点的每个画面，其中，每个画面中的目标对象采用对应的目标镜头效果进行显示。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，多媒体生成模块830被配置为根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，生成每个剧情节点的每个画面，其中，每个画面中的每个人物采用对应的目标姿态进行显示。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面的目标背景，多媒体生成模块830被配置为根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面的目标背景，生成每个剧情节点的每个画面，其中，每个画面的背景为对应的目标背景。
在一些实施例中，显示模块840被配置为将每个剧情节点的剧情描述文本、每个剧情节点中不同画面之间的视觉变换的描述文本和每个剧情节点的多媒体内容进行关联显示。
在一些实施例中，针对每个剧情节点，接收模块810还被配置为接收用户对剧情节点对应的视觉变换的描述文本的调整；多媒体生成模块830还被配置根据调整后的剧情节点对应的视觉变换的描述文本，生成剧情节点的多媒体内容；显示模块840还被配置为显示调整后的剧情节点对应的视觉变换的描述文本和调整后的剧情节点的多媒体内容。
在一些实施例中，内容文本还包括一个或多个人物中每个人物的描述文本和一个或多个交互操作节点中每个交互操作节点的描述文本，内容生成模块820被配置为采用文本生成模型对描述信息进行解析，生成每个人物的描述文本；采用文本生成模型对描述信息进行解析，生成每个交互操作节点的描述文本，其中，每个交互操作节点的描述文本包括对操作用户显示的交互操作选项的描述文本。
在一些实施例中，每个人物的描述文本包括每个人物的形象、声音特点中至少一项的描述信息，内容生成模块820被配置为根据每个人物的描述文本，生成每个人物的立绘、声音音频中至少一项；根据每个交互操作节点的描述文本，生成每个交互操作节点的多媒体内容。
在一些实施例中，显示模块840被配置为将每个人物的描述文本和每个人物的立绘、声音音频中至少一项进行关联显示；将每个交互操作节点的描述文本和每个交互操作节点的多媒体内容进行关联显示。
在一些实施例中，内容文本还包括一个或多个剧情节点中每个剧情节点对应的背 景音乐的描述文本，内容生成模块820被配置为采用文本生成模型对描述信息进行解析，生成所每个剧情节点对应的背景音乐的描述文本。
在一些实施例中，多媒体生成模块830被配置为根据每个剧情节点对应的背景音乐的描述文本，生成每个剧情节点对的背景音乐。
在一些实施例中，描述信息包括剧情概述信息以及一个或多个剧情节点中每个剧情节点的剧情信息中至少一项。
在一些实施例中，描述信息还包括：各个剧情节点之间的逻辑关系、人物设定信息、场景设定信息、画面风格设定信息中至少一项。
在一些实施例中，目标体裁包括：游戏、互动电视剧、互动电影中至少一项。
应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。
此外，尽管未示出，该设备也可以包括存储器，其可以存储由设备、设备所包含的各个单元在操作中产生的各种信息、用于操作的程序和数据、将由通信单元发送的数据等。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。当然，存储器可也位于该设备之外。可选地，尽管未示出，但是该设备也可以包括通信单元，其可用于与其它装置进行通信。在一个示例中，通信单元可以被按照本领域已知的适当方式来实现，例如包括天线阵列和/或射频链路等通信部件，各种类型的接口、通信单元等等。这里将不再详细描述。此外，设备还可以包括未示出的其它部件，诸如射频链路、基带处理单元、网络接口、处理器、控制器等。这里将不再详细描述。
本公开的一些实施例还提供一种电子设备。图9示出本公开的电子设备的一些实施例的框图。例如，在一些实施例中，电子设备9可以为各种类型的设备，例如可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。例如，电子设备9可以包括 显示面板，以用于显示根据本公开的方案中所利用的数据和/或执行结果。例如，显示面板可以为各种形状，例如矩形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。
如图9所示，该实施例的电子设备9包括：存储器91以及耦接至该存储器91的处理器92。应当注意，图9所示的电子设备9的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备9还可以具有其他组件。处理器92可以控制电子设备9中的其它组件以执行期望的功能。
在一些实施例中，存储器91用于存储一个或多个计算机可读指令。处理器92用于运行计算机可读指令时，计算机可读指令被处理器92运行时实现根据上述任一实施例的方法。关于该方法的各个步骤的具体实现以及相关解释内容可以参见上述的实施例，重复之处在此不作赘述。
例如，处理器92和存储器91之间可以直接或间接地互相通信。例如，处理器92和存储器91可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器92和存储器91之间也可以通过系统总线实现相互通信，本公开对此不作限制。
例如，处理器92可以体现为各种适当的处理器、处理装置等，诸如中央处理器(CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(CPU)可以为X86或ARM架构等。例如，存储器91可以包括各种形式的计算机可读存储介质的任意组合，例如易失性存储器和/或非易失性存储器。存储器91例如可以包括系统存储器，系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。在存储介质中还可以存储各种应用程序和各种数据等。
另外，根据本公开的一些实施例，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图10所示的计算机系统(或电子设备)1000安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文的功能等等。图10是示出根据本公开的实施例的中可采用的计算机系统的示例结构的框图。
在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。 在RAM 1003中，也根据需要存储当CPU 1001执行各种处理等时所需的数据。中央处理单元仅仅是示例性的，其也可以是其它类型的处理器，诸如前文的各种处理器。ROM 1002、RAM 1003和存储部分1008可以是各种形式的计算机可读存储介质，如下文。需要注意的是，虽然图10中分别示出了ROM 1002、RAM 1003和存储装置1008，但是它们中的一个或多个可以合并或者位于相同或不同的存储器或存储模块中。
CPU 1001、ROM 1002和RAM 1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。
下述部件连接到输入/输出接口1005：输入部分1006，诸如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等；输出部分1007，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)，扬声器，振动器等；存储部分1008，包括硬盘，磁带等；和通信部分1009，包括网络接口卡比如LAN卡、调制解调器等。通信部分1009允许经由网络比如因特网执行通信处理。容易理解的是，虽然图10中示出计算机系统1000中的各个装置或模块是通过总线1004来通信的，但它们也可以通过网络或其它方式进行通信，其中，网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
根据需要，驱动器1010也连接到输入/输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。
在通过软件实现上述系列处理的情况下，可以从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。
根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装部分1009从网络上被下载和安装，或者从存储部分1008被安装，或者从ROM 1002被安装。在该计算机程序被CPU 1001执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、 光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
在一些实施例中，还提供了一种计算机程序，包括：指令，指令当由处理器执行时使处理器执行上述任一个实施例的方法。例如，指令可以体现为计算机程序代码。
在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(，包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两 个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
根据本公开的一些实施例，提供的一种互动多媒体内容的生成方法，包括：接收用户输入的描述信息；根据描述信息和目标体裁，生成内容文本，其中，内容文本包括剧情内容的描述文本以及目标体裁对应的视觉变换的描述文本；根据内容文本，生成互动多媒体内容；显示互动多媒体内容以及内容文本，其中，互动多媒体内容呈现与视觉变换的描述文本对应的视觉变换效果。
在一些实施例中，该生成方法还包括：对描述信息进行解析，确定描述信息对应的体裁，作为目标体裁；或者接收用户对多个体裁中一个或多个体裁的选择操作，将一个或多个体裁确定为目标体裁。
在一些实施例中，剧情内容的描述文本包括一个或多个剧情节点中每个剧情节点的剧情内容的描述文本，视觉变换的描述文本包括每个剧情节点对应的视觉变换的描述文本，根据描述信息和目标体裁，生成内容文本包括：采用文本生成模型对描述信息进行解析，生成每个剧情节点的剧情内容的描述文本；采用文本生成模型，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息，并生成每个剧情节点对应的视觉变换的描述文本。
在一些实施例中，视觉变换包括镜头的运转，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中不同画面中运用不同类型的镜头效果；针对确定运用不同类型的镜头效果的剧情节点，根据描述信息，确定剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，作为剧情节点中不同画面之间的镜头的运 转的信息。
在一些实施例中，视觉变换包括人物姿态的变化，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中变化人物的姿态；针对确定变化人物的姿态的剧情节点，根据描述信息，确定剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，作为剧情节点中不同画面之间每个人物的姿态的变化信息。
在一些实施例中，视觉变换包括背景的切换，根据描述信息和目标体裁，确定每个剧情节点中不同画面之间的视觉变换的信息包括：根据描述信息和目标体裁，确定是否在每个剧情节点中切换背景；针对确定切换背景的剧情节点，根据描述信息，确定剧情节点中每个画面的目标背景，作为每个剧情节点中不同画面之间背景的切换信息。
在一些实施例中，根据内容文本，生成互动多媒体内容包括：根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容，其中，每个剧情节点的多媒体内容呈现与该剧情节点对应的视觉变换的描述文本相应的视觉效果。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容包括：根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中所运用的目标镜头效果以及目标镜头效果对应的目标对象，生成每个剧情节点的每个画面，其中，每个画面中的目标对象采用对应的目标镜头效果进行显示。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容包括：根据每个剧情节点的剧情内容的描述文本和每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，生成每个剧情节点的每个画面，其中，每个画面中的每个人物采用对应的目标姿态进行显示。
在一些实施例中，每个剧情节点对应的视觉变换的描述文本包括每个剧情节点中每个画面的目标背景，根据每个剧情节点的剧情内容的描述文本和每个剧情节点对应的视觉变换的描述文本，生成每个剧情节点的多媒体内容包括：根据每个剧情节点的 剧情内容的描述文本和每个剧情节点中每个画面的目标背景，生成每个剧情节点的每个画面，其中，每个画面的背景为对应的目标背景。
在一些实施例中，显示互动多媒体内容以及内容文本包括：将每个剧情节点的剧情描述文本、每个剧情节点中不同画面之间的视觉变换的描述文本和每个剧情节点的多媒体内容进行关联显示。
在一些实施例中，该生成方法还包括，针对每个剧情节点：接收用户对剧情节点对应的视觉变换的描述文本的调整；根据调整后的剧情节点对应的视觉变换的描述文本，生成剧情节点的多媒体内容；显示调整后的剧情节点对应的视觉变换的描述文本和调整后的剧情节点的多媒体内容。
在一些实施例中，内容文本还包括一个或多个人物中每个人物的描述文本和一个或多个交互操作节点中每个交互操作节点的描述文本，根据描述信息和目标体裁，生成内容文本包括：采用文本生成模型对描述信息进行解析，生成每个人物的描述文本；采用文本生成模型对描述信息进行解析，生成每个交互操作节点的描述文本，其中，每个交互操作节点的描述文本包括对操作用户显示的交互操作选项的描述文本。
在一些实施例中，每个人物的描述文本包括每个人物的形象、声音特点中至少一项的描述信息，根据内容文本，生成互动多媒体内容包括：根据每个人物的描述文本，生成每个人物的立绘、声音音频中至少一项；根据每个交互操作节点的描述文本，生成每个交互操作节点的多媒体内容。
在一些实施例中，显示互动多媒体内容以及内容文本包括：将每个人物的描述文本和每个人物的立绘、声音音频中至少一项进行关联显示；将每个交互操作节点的描述文本和每个交互操作节点的多媒体内容进行关联显示。
在一些实施例中，内容文本还包括一个或多个剧情节点中每个剧情节点对应的背景音乐的描述文本，根据描述信息和目标体裁，生成内容文本包括：采用文本生成模型对描述信息进行解析，生成所每个剧情节点对应的背景音乐的描述文本。
在一些实施例中，根据内容文本，生成互动多媒体内容包括：根据每个剧情节点对应的背景音乐的描述文本，生成每个剧情节点对的背景音乐。
在一些实施例中，描述信息包括剧情概述信息以及一个或多个剧情节点中每个剧情节点的剧情信息中至少一项。
在一些实施例中，描述信息还包括：各个剧情节点之间的逻辑关系、人物设定信息、场景设定信息、画面风格设定信息中至少一项。
在一些实施例中，目标体裁包括：游戏、互动电视剧、互动电影中至少一项。
根据本公开的另一些实施例，提供的一种互动多媒体内容的生成装置，包括：接收模块，被配置为接收用户输入的描述信息；内容生成模块，被配置为根据描述信息和目标体裁，生成内容文本，其中，内容文本包括剧情内容的描述文本以及目标体裁对应的视觉变换的描述文本；多媒体生成模块，被配置为根据内容文本，生成互动多媒体内容；显示模块，被配置为显示互动多媒体内容以及内容文本，其中，互动多媒体内容呈现与视觉变换的描述文本对应的视觉变换效果。
根据本公开的又一些实施例，提供的一种电子设备，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意实施例的互动多媒体内容的生成方法。
根据本公开的再一些实施例，提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意实施例的互动多媒体内容的生成方法。
根据本公开的又一些实施例，提供计算机程序，包括：指令，指令当由处理器执行时使处理器执行本公开中任意实施例的互动多媒体内容的生成方法。
根据本公开的再一些实施例，提供一种计算机程序产品，包括指令，指令当由处理器执行时实现本公开中任意实施例的互动多媒体内容的生成方法。
以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本发明的实施例。在其他情况下，为了不模糊该描述的理解，没有对众所周知的方法、结构和技术进行详细展示。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (24)

  1. 一种互动多媒体内容的生成方法，包括：
    接收用户输入的描述信息；
    根据所述描述信息和目标体裁，生成内容文本，其中，所述内容文本包括剧情内容的描述文本以及所述目标体裁对应的视觉变换的描述文本；
    根据所述内容文本，生成互动多媒体内容；
    显示所述互动多媒体内容以及所述内容文本，其中，所述互动多媒体内容呈现与所述视觉变换的描述文本对应的视觉变换效果。
  2. 根据权利要求1所述的生成方法，还包括：
    对所述描述信息进行解析，确定所述描述信息对应的体裁，作为所述目标体裁；或者
    接收用户对多个体裁中一个或多个体裁的选择操作，将所述一个或多个体裁确定为所述目标体裁。
  3. 根据权利要求1或2所述的生成方法，其中，所述剧情内容的描述文本包括一个或多个剧情节点中每个剧情节点的剧情内容的描述文本，所述视觉变换的描述文本包括所述每个剧情节点对应的视觉变换的描述文本，所述根据所述描述信息和目标体裁，生成内容文本包括：
    采用文本生成模型对所述描述信息进行解析，生成所述每个剧情节点的剧情内容的描述文本；
    采用所述文本生成模型，根据所述描述信息和所述目标体裁，确定所述每个剧情节点中不同画面之间的视觉变换的信息，并生成所述每个剧情节点对应的视觉变换的描述文本。
  4. 根据权利要求3所述的生成方法，其中，所述视觉变换包括镜头的运转，所述根据所述描述信息和所述目标体裁，确定所述每个剧情节点中不同画面之间的视觉变换的信息包括：
    根据所述描述信息和所述目标体裁，确定是否在所述每个剧情节点中不同画面中运用不同类型的镜头效果；
    针对确定运用不同类型的镜头效果的剧情节点，根据所述描述信息，确定所述剧情节点中每个画面中所运用的目标镜头效果以及所述目标镜头效果对应的目标对象， 作为所述剧情节点中不同画面之间的镜头的运转的信息。
  5. 根据权利要求3或4所述的生成方法，其中，所述视觉变换包括人物姿态的变化，所述根据所述描述信息和所述目标体裁，确定所述每个剧情节点中不同画面之间的视觉变换的信息包括：
    根据所述描述信息和所述目标体裁，确定是否在所述每个剧情节点中变化人物的姿态；
    针对确定变化人物的姿态的剧情节点，根据所述描述信息，确定所述剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，作为所述剧情节点中不同画面之间所述每个人物的姿态的变化信息。
  6. 根据权利要求3-5任一项所述的生成方法，其中，所述视觉变换包括背景的切换，所述根据所述描述信息和所述目标体裁，确定所述每个剧情节点中不同画面之间的视觉变换的信息包括：
    根据所述描述信息和所述目标体裁，确定是否在所述每个剧情节点中切换背景；
    针对确定切换背景的剧情节点，根据所述描述信息，确定所述剧情节点中每个画面的目标背景，作为所述每个剧情节点中不同画面之间背景的切换信息。
  7. 根据权利要求3-6任一项所述的生成方法，其中，所述根据所述内容文本，生成互动多媒体内容包括：
    根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点对应的视觉变换的描述文本，生成所述每个剧情节点的多媒体内容，其中，所述每个剧情节点的多媒体内容呈现与该剧情节点对应的视觉变换的描述文本相应的视觉效果。
  8. 根据权利要求7所述的生成方法，其中，所述每个剧情节点对应的视觉变换的描述文本包括所述每个剧情节点中每个画面中所运用的目标镜头效果以及所述目标镜头效果对应的目标对象，所述根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点对应的视觉变换的描述文本，生成所述每个剧情节点的多媒体内容包括：
    根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点中每个画面中所运用的目标镜头效果以及所述目标镜头效果对应的目标对象，生成所述每个剧情节点的每个画面，其中，所述每个画面中的目标对象采用对应的目标镜头效果进行显示。
  9. 根据权利要求7或8所述的生成方法，其中，所述每个剧情节点对应的视觉变换的描述文本包括所述每个剧情节点中每个画面中一个或多个人物中每个人物的目 标姿态，所述根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点对应的视觉变换的描述文本，生成所述每个剧情节点的多媒体内容包括：
    根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点中每个画面中一个或多个人物中每个人物的目标姿态，生成所述每个剧情节点的每个画面，其中，所述每个画面中的每个人物采用对应的目标姿态进行显示。
  10. 根据权利要求7-9任一项所述的生成方法，其中，所述每个剧情节点对应的视觉变换的描述文本包括所述每个剧情节点中每个画面的目标背景，所述根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点对应的视觉变换的描述文本，生成所述每个剧情节点的多媒体内容包括：
    根据所述每个剧情节点的剧情内容的描述文本和所述每个剧情节点中每个画面的目标背景，生成所述每个剧情节点的每个画面，其中，所述每个画面的背景为对应的目标背景。
  11. 根据权利要求7-10任一项所述的生成方法，其中，显示所述互动多媒体内容以及所述内容文本包括：
    将所述每个剧情节点的剧情描述文本、每个剧情节点中不同画面之间的视觉变换的描述文本和所述每个剧情节点的多媒体内容进行关联显示。
  12. 根据权利要求3-11任一项所述的生成方法，还包括，针对每个剧情节点：
    接收所述用户对所述剧情节点对应的视觉变换的描述文本的调整；
    根据调整后的所述剧情节点对应的视觉变换的描述文本，生成所述剧情节点的多媒体内容；
    显示调整后的所述剧情节点对应的视觉变换的描述文本和调整后的所述剧情节点的多媒体内容。
  13. 根据权利要求1-12任一项所述的生成方法，其中，所述内容文本还包括一个或多个人物中每个人物的描述文本和一个或多个交互操作节点中每个交互操作节点的描述文本，所述根据所述描述信息和目标体裁，生成内容文本包括：
    采用文本生成模型对所述描述信息进行解析，生成所述每个人物的描述文本；
    采用文本生成模型对所述描述信息进行解析，生成所述每个交互操作节点的描述文本，其中，所述每个交互操作节点的描述文本包括对操作用户显示的交互操作选项的描述文本。
  14. 根据权利要求13所述的生成方法，其中，所述每个人物的描述文本包括所述 每个人物的形象、声音特点中至少一项的描述信息，所述根据所述内容文本，生成互动多媒体内容包括：
    根据所述每个人物的描述文本，生成所述每个人物的立绘、声音音频中至少一项；
    根据所述每个交互操作节点的描述文本，生成所述每个交互操作节点的多媒体内容。
  15. 根据权利要求14所述的生成方法，其中，所述显示所述互动多媒体内容以及所述内容文本包括：
    将所述每个人物的描述文本和所述每个人物的立绘、声音音频中至少一项进行关联显示；
    将所述每个交互操作节点的描述文本和所述每个交互操作节点的多媒体内容进行关联显示。
  16. 根据权利要求1-15任一项所述的生成方法，其中，所述内容文本还包括一个或多个剧情节点中每个剧情节点对应的背景音乐的描述文本，所述根据所述描述信息和目标体裁，生成内容文本包括：
    采用文本生成模型对所述描述信息进行解析，生成所述每个剧情节点对应的背景音乐的描述文本。
  17. 根据权利要求16所述的生成方法，其中，所述根据所述内容文本，生成互动多媒体内容包括：
    根据所述每个剧情节点对应的背景音乐的描述文本，生成每个剧情节点对的背景音乐。
  18. 根据权利要求1-17任一项所述的生成方法，其中，所述描述信息包括剧情概述信息以及一个或多个剧情节点中每个剧情节点的剧情信息中至少一项。
  19. 根据权利要求18所述的生成方法，其中，所述描述信息还包括：各个剧情节点之间的逻辑关系、人物设定信息、场景设定信息、画面风格设定信息中至少一项。
  20. 根据权利要求1-19任一项所述的生成方法，其中，所述目标体裁包括：游戏、互动电视剧、互动电影中至少一项。
  21. 一种互动多媒体内容的生成装置，包括：
    接收模块，被配置为接收用户输入的描述信息；
    内容生成模块，被配置为根据所述描述信息和目标体裁，生成内容文本，其中，所述内容文本包括剧情内容的描述文本以及所述目标体裁对应的视觉变换的描述文 本；
    多媒体生成模块，被配置为根据所述内容文本，生成互动多媒体内容；
    显示模块，被配置为显示所述互动多媒体内容以及所述内容文本，其中，所述互动多媒体内容呈现与所述视觉变换的描述文本对应的视觉变换效果。
  22. 一种电子设备，包括：
    存储器；以及
    耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至20中任一项所述的互动多媒体内容的生成方法。
  23. 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至20中任一项所述的互动多媒体内容的生成方法。
  24. 一种计算机程序，包括指令，当所述指令被处理器执行时，使所述处理器实现权利要求1-20任一项所述的互动多媒体内容的生成方法。
PCT/CN2024/133084 2023-11-27 2024-11-20 互动多媒体内容的生成方法、装置、电子设备和存储介质 Pending WO2025113271A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202311597109.3A CN117633258A (zh) 2023-11-27 2023-11-27 互动多媒体内容的生成方法、装置、电子设备和存储介质
CN202311597109.3 2023-11-27

Publications (1)

Publication Number Publication Date
WO2025113271A1 true WO2025113271A1 (zh) 2025-06-05

Family

ID=90031535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2024/133084 Pending WO2025113271A1 (zh) 2023-11-27 2024-11-20 互动多媒体内容的生成方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN117633258A (zh)
WO (1) WO2025113271A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633258A (zh) * 2023-11-27 2024-03-01 北京字跳网络技术有限公司 互动多媒体内容的生成方法、装置、电子设备和存储介质
WO2025184856A1 (zh) * 2024-03-07 2025-09-12 北京字跳网络技术有限公司 互动多媒体内容的处理方法、装置、设备、介质和产品
CN121420328A (zh) * 2024-04-29 2026-01-27 北京字跳网络技术有限公司 用于创建互动多媒体内容的方法、装置、设备和存储介质
CN118820495B (zh) * 2024-05-17 2025-12-02 北京达佳互联信息技术有限公司 一种多媒体资源展示方法、装置、电子设备和存储介质
CN118870143A (zh) * 2024-06-21 2024-10-29 北京字跳网络技术有限公司 生成媒体内容的方法、装置、设备和存储介质
CN118507087A (zh) * 2024-07-22 2024-08-16 浪潮云信息技术股份公司 基于大模型的医疗行业信息传递方法、装置、设备及介质
CN119719355B (zh) * 2024-11-30 2025-09-05 北京百视播视频文化传媒有限公司 文本生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493402A (zh) * 2018-11-09 2019-03-19 网易（杭州）网络有限公司 一种剧情动画的制作方法和装置
WO2019169068A1 (en) * 2018-03-02 2019-09-06 Davis George Bernard Presenting interactive content
CN113778419A (zh) * 2021-08-09 2021-12-10 北京有竹居网络技术有限公司 多媒体数据的生成方法、装置、可读介质及电子设备
CN117633258A (zh) * 2023-11-27 2024-03-01 北京字跳网络技术有限公司 互动多媒体内容的生成方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169068A1 (en) * 2018-03-02 2019-09-06 Davis George Bernard Presenting interactive content
CN109493402A (zh) * 2018-11-09 2019-03-19 网易（杭州）网络有限公司 一种剧情动画的制作方法和装置
CN113778419A (zh) * 2021-08-09 2021-12-10 北京有竹居网络技术有限公司 多媒体数据的生成方法、装置、可读介质及电子设备
CN117633258A (zh) * 2023-11-27 2024-03-01 北京字跳网络技术有限公司 互动多媒体内容的生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN117633258A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
WO2025113271A1 (zh) 互动多媒体内容的生成方法、装置、电子设备和存储介质
WO2025112599A1 (zh) 互动多媒体内容的生成方法、装置和计算机可读存储介质
CN114245099B (zh) 视频生成方法、装置、电子设备以及存储介质
WO2023231568A1 (zh) 视频编辑方法、装置、计算机设备、存储介质及产品
CN112631814B (zh) 游戏剧情对白播放方法和装置、存储介质、电子设备
WO2025124093A1 (zh) 交互方法、装置、计算机可读存储介质和计算机程序产品
US20250328990A1 (en) Video processing method and apparatus, electronic device, and storage medium
KR20210153386A (ko) 멀티미디어 컨텐츠를 생성하는 디스플레이 장치 및 그 동작방법
WO2025113282A1 (zh) 交互方法、装置、电子设备以及计算机可读存储介质
WO2025179758A1 (zh) 一种大模型交互的智能图片或视频的生成方法和系统
JP2023162179A (ja) スライド再生プログラム、スライド再生装置及びスライド再生方法
WO2025036351A1 (zh) 媒体内容生成方法、设备、存储介质及程序产品
CN118898256A (zh) 内容生成方法、装置、电子设备、存储介质和程序产品
CN118917897A (zh) 内容生成方法、装置、电子设备、存储介质和程序产品
US20140282000A1 (en) Animated character conversation generator
US20250203153A1 (en) Video generation method and apparatus, and device, storage medium and program product
WO2024046284A1 (zh) 绘制动画生成方法、装置、设备、可读存储介质及产品
CN116309969A (zh) 游戏内的剧情动画生成方法、装置、存储介质与电子设备
WO2025139163A1 (zh) 视频生成方法、装置、介质及设备
WO2026066116A1 (zh) 视频生成方法及装置、计算机可读存储介质、程序产品
CN115499672A (zh) 图像显示方法、装置、设备及存储介质
WO2025184856A1 (zh) 互动多媒体内容的处理方法、装置、设备、介质和产品
WO2024067157A1 (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN119782559B (zh) 内容生成方法、电子设备、计算机可读存储介质和产品
WO2025067377A1 (zh) 一种视频生成方法、装置、设备及介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24896362

Country of ref document: EP

Kind code of ref document: A1